mini-SGLang - 一个为教学而设计的易读版本的 SGLang
https://fxtwitter.com/lmsysorg/status/2001356624855023669
http://github.com/sgl-project/mini-sglang
项目将 SGLang 代码从 30 万行精简到了 5000 行。但保留了核心设计,降低了复杂性,未牺牲其性能表现 — 几乎与线上版本的 SGLang 完全相同。
#AI #GitHub
https://fxtwitter.com/lmsysorg/status/2001356624855023669
http://github.com/sgl-project/mini-sglang
适合工程师、研究人员和学生用来学习大模型推理的工作原理
项目将 SGLang 代码从 30 万行精简到了 5000 行。但保留了核心设计,降低了复杂性,未牺牲其性能表现 — 几乎与线上版本的 SGLang 完全相同。
#AI #GitHub