Baidu: ERNIE 4.5 21B A3B

Baidu: ERNIE 4.5 21B A3B ist ein hochmodernes textbasiertes Mixture-of-Experts (MoE)-Modell, das über 21 Milliarden Gesamtparameter verfügt, wobei 3 Milliarden pro Token aktiviert werden. Diese Architektur liefert außergewöhnliche multimodale Verständnis- und Generierungsfähigkeiten, angetrieben durch heterogene MoE-Strukturen und modalitätsisolierte Routings. Es unterstützt eine umfangreiche Kontextlänge von 131K Token, was eine tiefe und umfassende Informationsverarbeitung ermöglicht. Das Modell erreicht eine effiziente Inferenz durch parallele Zusammenarbeit mehrerer Experten und Quantisierungstechniken. Fortschrittliche Post-Training-Methoden, einschließlich SFT (Supervised Fine-Tuning), DPO (Direct Preference Optimization) und UPO (Unsupervised Preference Optimization), gewährleisten eine optimierte Leistung in verschiedenen Anwendungen. Spezialisierte Routings und Balancing-Verluste verbessern zusätzlich seine Fähigkeit, verschiedene Aufgaben mit überlegener Präzision zu bewältigen. Es bietet 'functions'- und 'streaming'-Funktionen, was es vielseitig für interaktive Anwendungen macht. Die Preisgestaltung ist wettbewerbsfähig: $0.07 pro 1M Eingabetoken und $0.28 pro 1M Ausgabetoken, mit einem großzügigen 120K Token Kontextfenster und einer maximalen Ausgabe von 4K Token.