Baidu: ERNIE 4.5 21B A3B

Baidu: ERNIE 4.5 21B A3B est un modèle de pointe de Mixture-of-Experts (MoE) basé sur le texte, doté de 21 milliards de paramètres au total, dont 3 milliards sont activés par jeton. Cette architecture offre des capacités exceptionnelles de compréhension et de génération multimodales, grâce à des structures MoE hétérogènes et un routage isolé par modalité. Il prend en charge une longueur de contexte étendue de 131K jetons, permettant un traitement profond et complet des informations. Le modèle réalise une inférence efficace grâce à la collaboration parallèle multi-experts et aux techniques de quantification. Des techniques de post-entraînement avancées, y compris SFT (Supervised Fine-Tuning), DPO (Direct Preference Optimization) et UPO (Unsupervised Preference Optimization), garantissent des performances optimisées dans diverses applications. Le routage spécialisé et les pertes d'équilibrage améliorent encore sa capacité à gérer diverses tâches avec une précision supérieure. Il offre des capacités de 'functions' et de 'streaming', ce qui le rend polyvalent pour les applications interactives. La tarification est compétitive à 0,07 $ par million de jetons d'entrée et 0,28 $ par million de jetons de sortie, avec une fenêtre de contexte généreuse de 120K jetons et une sortie maximale de 4K jetons.