NVIDIA: Llama 3.3 Nemotron Super 49B V1.5

NVIDIA: Llama 3.3 Nemotron Super 49B V1.5 est un puissant modèle de raisonnement et de chat de 49 milliards de paramètres, centré sur l'anglais. Il est basé sur Llama-3.3-70B-Instruct de Meta et dispose d'une vaste fenêtre de contexte de 128K tokens. Ce modèle est méticuleusement post-entraîné pour les flux de travail agentiques, y compris la génération augmentée par récupération (RAG) et l'appel d'outils robuste, via le Supervised Fine-Tuning (SFT) dans divers domaines comme les mathématiques, le code, la science et les chats multi-tours. Un raffinement supplémentaire provient de plusieurs étapes d'apprentissage par renforcement (RL), y compris l'optimisation des préférences consciente de la récompense (RPO) pour l'alignement, le RL avec des récompenses vérifiables (RLVR) pour le raisonnement étape par étape, et le DPO itératif pour affiner le comportement d'utilisation des outils. Le modèle affiche des résultats d'évaluation interne impressionnants, tels que MATH500 pass@1 = 97.4 et LiveCodeBench = 73.58, démontrant de solides capacités de raisonnement et de codage. Il est conçu pour une efficacité d'inférence pratique, offrant un nombre élevé de tokens/s et une VRAM réduite, prenant en charge le déploiement sur un seul GPU (H100/H200) via Transformers/vLLM. Avec une fenêtre de contexte de 131K tokens et une sortie maximale de 4K tokens, il est idéal pour construire des agents, des assistants et des systèmes de récupération à long contexte où un équilibre entre précision et coût, ainsi qu'une utilisation fiable des outils, sont essentiels. Le prix est de 0,10 $/0,40 $ par million de tokens (entrée/sortie) dans le cadre du niveau d'accès STARTER.