大规模预训练 | AI导航网站

大规模预训练

DiT-MoE

DiT-MoE是一种基于混合专家的扩展版扩散变换器模型，可扩展至160亿参数。它作为扩散变换器的稀疏版本，具有高度优化的推理能力，在保持与密集网络竞争力的同时实现了可扩展性。

扩散模型混合专家大规模预训练