NVIDIA: Nemotron Nano 12B 2 VL

NVIDIA Nemotron Nano 12B 2 VL — это передовая открытая мультимодальная модель рассуждений с 12 миллиардами параметров, специально разработанная для расширенного понимания видео и задач анализа документов. Эта модель представляет инновационную гибридную архитектуру Transformer-Mamba, которая мастерски сочетает высокую точность традиционных Transformer с эффективными по памяти возможностями моделирования последовательностей Mamba. Это приводит к значительно более высокой пропускной способности и удивительно низкой задержке, что делает ее идеальной для требовательных приложений. Модель обрабатывает как текстовые, так и многоизобразительные документы, генерируя выходные данные на естественном языке. Она была тщательно обучена на высококачественных, курируемых NVIDIA синтетических наборах данных, тщательно оптимизированных для оптического распознавания символов (OCR), сложного рассуждения по диаграммам и всестороннего мультимодального понимания. Nemotron Nano 2 VL достигает лидирующих результатов на OCRBench v2 и набирает впечатляющие ≈ 74 в среднем по ключевым бенчмаркам, таким как MMMU, MathVista, AI2D, OCRBench, OCR-Reasoning, ChartQA, DocVQA и Video-MME, постоянно превосходя предыдущие открытые базовые модели VL. Благодаря эффективной выборке видео (EVS) она умело обрабатывает длинные видео, существенно снижая затраты на вывод. Ключевые характеристики включают щедрое окно контекста в 131K токенов и максимальный выход в 4K токенов. Цены конкурентоспособны: $0.20 за 1M входных токенов и $0.60 за 1M выходных токенов. Модель поддерживает возможности зрения и потоковой передачи, что делает ее отличным выбором для анализа и обработки документов. Открытые веса, данные для обучения и рецепты тонкой настройки доступны по разрешительной открытой лицензии NVIDIA, с поддержкой развертывания через NeMo, NIM и основные среды выполнения вывода. Доступ к этой модели уровня STARTER на Multi AI уже сегодня.