Baidu: ERNIE 4.5 21B A3B

Baidu: ERNIE 4.5 21B A3B 是一款尖端的基于文本的Mixture-of-Experts (MoE) 模型，拥有210亿总参数，每个token激活30亿参数。这种架构通过异构MoE结构和模态隔离路由，提供卓越的多模态理解和生成能力。它支持长达131K token的上下文长度，允许对信息进行深入而全面的处理。 该模型通过多专家并行协作和量化技术实现高效推理。先进的后训练技术，包括SFT（监督微调）、DPO（直接偏好优化）和UPO（无监督偏好优化），确保在各种应用中实现优化性能。专门的路由和平衡损失进一步增强了其以卓越精度处理各种任务的能力。它提供“functions”和“streaming”功能，使其适用于交互式应用。定价具有竞争力，输入每百万token $0.07，输出每百万token $0.28，拥有120K token的上下文窗口和4K token的最大输出。