Baidu: ERNIE 4.5 21B A3B

Baidu: ERNIE 4.5 21B A3B es un modelo de vanguardia de Mixture-of-Experts (MoE) basado en texto, que cuenta con 21 mil millones de parámetros totales, con 3 mil millones activados por token. Esta arquitectura ofrece capacidades excepcionales de comprensión y generación multimodal, impulsadas por estructuras MoE heterogéneas y enrutamiento aislado por modalidad. Soporta una extensa longitud de contexto de 131K tokens, lo que permite un procesamiento profundo y completo de la información. El modelo logra una inferencia eficiente a través de la colaboración paralela de múltiples expertos y técnicas de cuantificación. Las técnicas avanzadas de post-entrenamiento, incluyendo SFT (Supervised Fine-Tuning), DPO (Direct Preference Optimization) y UPO (Unsupervised Preference Optimization), aseguran un rendimiento optimizado en diversas aplicaciones. El enrutamiento especializado y las pérdidas de equilibrio mejoran aún más su capacidad para manejar diversas tareas con una precisión superior. Ofrece capacidades de 'functions' y 'streaming', lo que lo hace versátil para aplicaciones interactivas. El precio es competitivo: $0.07 por 1M de tokens de entrada y $0.28 por 1M de tokens de salida, con una generosa ventana de contexto de 120K tokens y una salida máxima de 4K tokens.