State Management for LLM Serving Systems
张书豪
华中科技大学计算机学院教授｜面向大模型推理引擎、推理服务系统与记忆智能体中间件招收硕士/博士/实习生
张书豪，华中科技大学计算机科学与技术学院教授（个人主页），主持科技部重大项目课题，入选国家自然科学基金优秀青年科学基金项目（海外）。研究聚焦 状态管理驱动的推理系统优化，重点关注并行分布式系统，并进一步延伸至 大模型推理基础设施，尤其是状态感知调度、硬件感知记忆管理与状态复用推理加速问题。加入 HUST 前，曾于新加坡南洋理工大学（NTU）任助理教授，并在德国柏林工业大学（TUB）从事博士后研究。
当前工作主要围绕 大模型推理引擎、推理服务系统与记忆智能体中间件 展开，重点关注共享状态在观测、管理与执行三个层面的组织问题，以及这些机制对吞吐、P99 时延和服务稳定性的影响。
分身系统入口：SAGE Faculty Twin。这里提供面向学生与合作同学的数字分身问答、组内成员入口与 Slack /twin 绑定。
研究板块
当前研究大致分为三个相互衔接的技术板块：
- State-Aware Orchestration and Resource Governance：状态感知的解耦编排与资源治理，关注长序列与 MoE 的尾时延风险建模、负载感知批处理与联合调度、异构拓扑感知的配额隔离与资源映射；相关工作包括
BidKV、SAGE、MorphStream等 - Hardware-Aware Memory Management and Semantic Consistency：硬件感知的多级记忆管理与语义一致性，关注
KV / Prefix / 向量记忆的分层管理、一致性读写、快速更新与鲁棒推理闭环；相关工作包括Neuromem、vLLM-HUST、CStream、LibAMM等 - State-Reuse Inference for Long Contexts and MoE：状态复用驱动的长序列与 MoE 推理加速，关注 KV 状态复用、上下文缓存优化、MoE 稀疏激活与国产互联上的数据通路优化；相关工作包括
FlowRAG、StreamFP、CANDOR-Bench等
当前系统建设
课题组当前的系统工作主要包括三组相互衔接的系统线：
系统脉络、公开仓库与代表性论文已整理在下方各系统条目中。
- SAGE：面向国产异构算力的大模型推理服务系统，重点覆盖在线 serving、调度编排、可观测性与端到端性能优化
- Neuromem（当前开源的是 Neuromem-Benchmark）：面向大模型记忆智能体的中间件系列，重点覆盖流式记忆组织、向量检索、长期记忆写入与跨轮复用
- vLLM-HUST（含 Benchmark、Dev Hub 等系列仓库）：面向国产算力的华科自研推理引擎底座与插件生态，重点覆盖共享 workload、KV 状态管理、插件化优化与评测工具链
学生培养模式
得益于获批重大项目与企业合作需求，课题组得以采用类似斯坦福、UC Berkeley 等顶级高校实验室的 双轨培养方案——通过 科研-工程闭环协作模型，将学术训练与工程训练有机融合，让不同路线的同学在协作中互相受益。
核心理念：
- 学术路线同学 侧重科研训练（论文写作、实验设计、方法创新），同时通过工程同学获得落地支撑
- 工程路线同学 侧重工程训练（系统实现、性能优化、质量保障），同时有机会参与论文发表
- 两条路线可互相转化，同学可根据自身兴趣和阶段灵活调整侧重点
协作流程：PI 提供科研方向指导，学术路线同学提出工程需求（经过门控检查，确保与项目方向一致），工程路线同学负责实现，工程师负责工程质量保障与任务协调。学术成果由学术和工程同学共同署名，项目成果反过来又支撑新的研究方向，形成正向闭环。
闭环成果：工程同学有机会发表论文，学术同学获得工程助力，最终实现 论文 + 项目双丰收。
招生与合作
课题组长期招收对 系统研究与工程实现 感兴趣的硕士、博士和长期实习生，方向聚焦 大模型推理引擎、推理服务系统与记忆智能体中间件。
比较契合的背景包括以下几类：
- 对系统研究有兴趣，愿意围绕真实负载做可复现实验与指标设计
- 喜欢性能工程与原型实现，熟悉 Python/C++、分布式系统或 GPU/异构优化
- 想做推理引擎核心问题，例如 batching、scheduling、KV cache 与记忆状态管理、observability 与 benchmarking
如果具有数据库、操作系统、分布式系统、编译、体系结构、GPU/异构优化，或开源系统项目经验，通常会与上述方向较为契合。联系时建议附上简历、研究或项目经历（含代码链接），以及希望重点开展的 1–2 个问题。
联系方式
- Email：shuhao_zhang[at]hust.edu.cn
- ORCID：https://orcid.org/0000-0002-9927-6925
- 团队主页：https://intellistream.github.io/