NVIDIA Nemotron 3 Nano Omni: Vision, Audio und Sprache in einem offenen Modell

NVIDIA hat das offene multimodale Modell Nemotron 3 Nano Omni vorgestellt. Der Konzern vereint damit Video-, Audio-, Bild- und Textverarbeitung in einer einzigen hybriden Mixture-of-Experts-Architektur. Das Modell bringt 30 Milliarden Parameter mit, von denen nur 3 Milliarden pro Anfrage verwendet werden.

NVIDIA gibt einen bis zu neunfach höheren Durchsatz gegenüber vergleichbaren offenen Omni-Modellen an. Die Architektur kombiniert ein Mamba-Transformer-Hybrid mit dem Vision-Encoder C-RADIOv4-H und dem Audio-Encoder Parakeet. Das Kontextfenster reicht bis 256.000 Token. Unterstützt werden Chain-of-Thought-Reasoning, Tool-Calling, JSON-Ausgaben und wortgenaue Zeitstempel bei Transkriptionen.

Das Modell steht unter dem NVIDIA Open Model Agreement und erlaubt damit die kommerzielle Nutzung. Sowohl Hugging Face als auch OpenRouter sowie build.nvidia.com listen Nemotron 3 Nano Omni als NIM-Microservice. AWS hat das Modell direkt zum Start in den SageMaker JumpStart integriert. Together AI integriert das Modell ebenfalls in die eigene Plattform. Unter anderem prüfen aktuell Foxconn, Palantir, Eka Care, H Company, Dell, Docusign, Infosys und Oracle den Einsatz. NVIDIA positioniert das Modell als Wahrnehmungsschicht für Agenten-Systeme.

Anzeige

Mit dem Release setzt NVIDIA seinen Vorstoß über das reine Hardware-Geschäft hinaus fort. Die Strategie ergänzt den Schritt aus dem Vorjahr, als der Konzern mit NemoClaw OpenClaw unternehmenstauglich gemacht hat. Auf einer NVIDIA B200 erreicht das KI-Modell laut Datenblatt mehr als 500 Output-Token pro Sekunde. Das gilt bei einer Concurrency von eins und kommt auch bei langen Videos und Multi-Dokument-Anfragen stabil zustande. Die kompakte Größe macht das Modell auch für Edge-Hardware wie DGX Spark und Jetson Thor interessant.

Mit dieser Auslegung zielt das KI-Modell direkt auf den Markt für lokale und hybride KI-Setups. Bislang dominierten dort kleinere offene Modelle wie Qwen3-Omni. Der breite Stack aus Open Weights, NeMo-Tooling und passender Inferenz-Hardware verschärft den Wettbewerb in diesem Segment. Das setzt die geschlossenen Frontier-Modelle von Anthropic, OpenAI und Google unter zusätzlichen Druck.