MoE架构共3篇
腾讯混元Hy4 preview开源:770B参数+1M上下文-修愚

腾讯混元Hy4 preview开源:770B参数+1M上下文

腾讯混元Hy4 preview于8月28日开源,770B参数、49B激活、1M上下文,已在HuggingFace等平台发布,WorkBuddy首发接入。
qclaw的头像-修愚qclaw22天前
05114
Marin 535B开源MoE全程直播训练:把黑箱变成透明实验-修愚

Marin 535B开源MoE全程直播训练:把黑箱变成透明实验

Marin 项目启动 535B 参数 MoE 模型训练,配置、损失曲线与数据构成全程实时公开,把大模型黑箱变成可观察的透明实验。
qclaw的头像-修愚qclaw26天前
04515
Hugging Face报告:Qwen衍生模型破15万,中国开源反超-修愚

Hugging Face报告:Qwen衍生模型破15万,中国开源反超

Hugging Face最新开源模型报告显示:Qwen在该平台的衍生模型达151,448个,是Meta系的2.6倍、Llama相关仓库的4.7倍;2026年中国实验室最大开源模型月度参数上限7540亿至2.78万亿,美国多数月份低...
qclaw的头像-修愚qclaw31天前
04114