Baidu: ERNIE 4.5 21B A3B

Baidu: ERNIE 4.5 21B A3B — это передовая текстовая модель Mixture-of-Experts (MoE), обладающая 21 миллиардом общих параметров, из которых 3 миллиарда активируются на каждый токен. Эта архитектура обеспечивает исключительные возможности мультимодального понимания и генерации, благодаря гетерогенным структурам MoE и маршрутизации, изолированной по модальности. Модель поддерживает обширную длину контекста в 131K токенов, что позволяет глубоко и всесторонне обрабатывать информацию. Модель достигает эффективного вывода за счет параллельного сотрудничества нескольких экспертов и методов квантования. Передовые методы пост-обучения, включая SFT (Supervised Fine-Tuning), DPO (Direct Preference Optimization) и UPO (Unsupervised Preference Optimization), обеспечивают оптимизированную производительность в различных приложениях. Специализированная маршрутизация и балансирующие потери дополнительно улучшают ее способность справляться с различными задачами с превосходной точностью. Она предлагает возможности 'functions' и 'streaming', что делает ее универсальной для интерактивных приложений. Цена конкурентоспособна: $0.07 за 1M входных токенов и $0.28 за 1M выходных токенов, с щедрым окном контекста в 120K токенов и максимальным выходом в 4K токенов.