
HPC-Ops × SGLang:腾讯混元开源三大推理算子进主分支
腾讯混元开源 HPC-Ops 已合入 SGLang:动态负载均衡 Attention 与精度感知 Router GEMM,Hy3 的 TPOT 最高降 48.8%。

腾讯混元开源 HPC-Ops 已合入 SGLang:动态负载均衡 Attention 与精度感知 Router GEMM,Hy3 的 TPOT 最高降 48.8%。

LangChain 宣布 Managed Deep Agents 进入公开测试:Python/TypeScript 编写智能体,一条命令部署到 LangSmith 托管运行时,自带持久化、沙箱、Harbor 评测与 Slack 通道。

OpenAI 内部评估显示 Astra 在网络安全领域突破关键门槛,公司已出台隔离测试、限制访问等管控,暂缓公开发布。

vLLM 详解 Decode Context Parallelism:沿序列维度切分 KV 缓存而非按注意力头复制。单 8×B200 测 Kimi K2.6,显存占用 82% 时吞吐仍达 6091 tok/s/GPU,是张量并行的 3 倍以上。

vLLM 团队公布 Qwen3.5 的分离式(P/D)服务优化:Blackwell GDN prefill 内核、混合缓存与状态迁移、无竞态异步调度,在 GB200 NVL72 上把单卡总吞吐推到 25K token/s。

Zapier 开源的 AI 智能体基准:600 个跨 47 个模拟 SaaS 的业务任务,要求自动发现 API 并遵守业务规则,公开集最强模型通过率约 50%。

用 200GbE 直连的双 DGX Spark 以 vLLM 部署 DeepSeek-V4-Flash-0731(TP=2、百万上下文),单流 60–70 tok/s,本文梳理关键注意事项与实测数据。

New API 是聚合多厂商大模型的开源 API 网关,支持 OpenAI、Claude、Gemini 格式互转与计费管理,本文介绍其特性与 Docker 部署配置。