Používateľská príručka NVIDIA NeMo Framework

Rámec NVIDIA NeMo

Špecifikácie

• Názov produktu: NVIDIA NeMo Framework
• Ovplyvnené platformy: Windows, Linux, macOS
• Ovplyvnené verzie: Všetky verzie pred 24
• Chyba zabezpečenia: CVE-2025-23360
• Základné skóre hodnotenia rizika: 7.1 (CVSS v3.1)

Návod na použitie produktu

Inštalácia aktualizácie zabezpečenia:
Ak chcete chrániť svoj systém, postupujte podľa týchto krokov:

1. Stiahnite si najnovšiu verziu zo stránky NeMo-Framework-Launcher Releases na GitHub.
2. Ďalšie informácie nájdete na stránke NVIDIA Product Security.

Podrobnosti aktualizácie zabezpečenia:
Aktualizácia zabezpečenia rieši chybu zabezpečenia v rámci NVIDIA NeMo Framework, ktorá by mohla viesť k spusteniu kódu a údajov.ampEring.

Aktualizácia softvéru:
Ak používate staršie vydanie vetvy, odporúča sa prejsť na najnovšie vydanie vetvy, aby ste vyriešili problém so zabezpečením.

Koniecview

NVIDIA NeMo Framework je škálovateľný a cloudovo natívny generatívny rámec AI vytvorený pre výskumníkov a vývojárov pracujúcich na Veľké jazykové modely, multimodálne a Umelá inteligencia reči (napr Automatické rozpoznávanie reči a Prevod textu na reč). Umožňuje používateľom efektívne vytvárať, prispôsobovať a nasadzovať nové generatívne modely AI využitím existujúceho kódu a vopred vyškolených kontrolných bodov modelu.

Pokyny na nastavenie: Nainštalujte NeMo Framework

Veľké jazykové modely a multimodálne modely
NeMo Framework poskytuje komplexnú podporu pre vývoj veľkých jazykových modelov (LLM) a multimodálnych modelov (MM). Poskytuje flexibilitu na použitie v priestoroch, v dátovom centre alebo u preferovaného poskytovateľa cloudu. Podporuje tiež spúšťanie v prostrediach s povoleným SLURM alebo Kubernetes.

Spracovanie údajov
Kurátor NeMo [1] je knižnica Pythonu, ktorá obsahuje sadu modulov na dolovanie údajov a generovanie syntetických údajov. Sú škálovateľné a optimalizované pre GPU, vďaka čomu sú ideálne na spracovanie údajov v prirodzenom jazyku na trénovanie alebo dolaďovanie LLM. S NeMo Curator môžete efektívne extrahovať vysokokvalitný text z rozsiahleho surového textu web dátové zdroje.

Školenie a prispôsobenie

NeMo Framework poskytuje nástroje na efektívne školenie a prispôsobenie LLM a multimodálne modely. Zahŕňa predvolené konfigurácie pre nastavenie výpočtového klastra, sťahovanie údajov a hyperparametre modelu, ktoré je možné upraviť tak, aby trénovali na nových súboroch údajov a modeloch. Okrem predtréningu podporuje NeMo techniky Supervised Fine-Tuning (SFT) a Parameter Efficient Fine-Tuning (PEFT), ako sú LoRA, Ptuning a ďalšie.

Na spustenie tréningu v NeMo sú k dispozícii dve možnosti – pomocou rozhrania API NeMo 2.0 alebo pomocou NeMo Run.

• S NeMo Run (odporúčané): NeMo Run poskytuje rozhranie na zjednodušenie konfigurácie, vykonávania a správy experimentov v rôznych výpočtových prostrediach. To zahŕňa spúšťanie úloh na vašej pracovnej stanici lokálne alebo vo veľkých klastroch – s povoleným SLURM alebo Kubernetes v cloudovom prostredí.
  • Predtréning a rýchly štart PEFT s NeMo Run
• Používanie NeMo 2.0 API: Táto metóda funguje dobre s jednoduchým nastavením zahŕňajúcim malé modely, alebo ak máte záujem napísať si vlastný dataloader, tréningové slučky alebo zmeniť vrstvy modelu. Poskytuje vám väčšiu flexibilitu a kontrolu nad konfiguráciami a uľahčuje programové rozšírenie a prispôsobenie konfigurácií.
  • TraRýchly štart s NeMo 2.0 API
  • Prechod z NeMo 1.0 na NeMo 2.0 API

Zarovnanie

• NeMo-Aligner [1] je škálovateľná súprava nástrojov na efektívne zarovnanie modelov. Sada nástrojov má podporu pre najmodernejšie algoritmy zosúlaďovania modelov, ako sú SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) a mnoho ďalších. Tieto algoritmy umožňujú používateľom zosúladiť jazykové modely tak, aby boli bezpečnejšie, neškodnejšie a užitočnejšie.
• Všetky kontrolné body NeMo-Aligner sú krížovo kompatibilné s ekosystémom NeMo, čo umožňuje ďalšie prispôsobenie a nasadenie odvodzovania.

Postupný pracovný postup všetkých troch fáz RLHF na malom modeli GPT-2B:

• Školenie SFT
• Školenie modelu odmeňovania
• Školenie PPO

Okrem toho demonštrujeme podporu pre rôzne ďalšie nové metódy zarovnania:

• DPO: ľahký algoritmus zarovnania v porovnaní s RLHF s jednoduchšou stratovou funkciou.
• Vlastná hra Jemné doladenie (SPIN)
• SteerLM: technika založená na kondicionovanom SFT s riadeným výstupom.

Viac informácií nájdete v dokumentácii: Dokumentácia zarovnania

Multimodálne modely

• NeMo Framework poskytuje optimalizovaný softvér na trénovanie a nasadzovanie najmodernejších multimodálnych modelov v niekoľkých kategóriách: Multimodálne jazykové modely, Vision-Language Foundations, Text-to-Image modely a nad rámec 2D generovania pomocou Neural Radiance Fields (NeRF).
• Každá kategória je navrhnutá tak, aby vyhovovala špecifickým potrebám a pokrokom v tejto oblasti, pričom využíva najmodernejšie modely na spracovanie širokej škály typov údajov vrátane textu, obrázkov a 3D modelov.

Nasadenie a odvodenie
Rámec NeMo poskytuje rôzne cesty pre odvodzovanie LLM, ktoré zodpovedajú rôznym scenárom nasadenia a potrebám výkonu.

Nasaďte s NVIDIA NIM

• NeMo Framework sa bezproblémovo integruje s nástrojmi na nasadenie modelov na podnikovej úrovni prostredníctvom NVIDIA NIM. Táto integrácia je poháňaná technológiou NVIDIA TensorRT-LLM, ktorá zabezpečuje optimalizované a škálovateľné odvodenie.
• Viac informácií o NIM nájdete na stránke NVIDIA webstránky.

Nasaďte s TensorRT-LLM alebo vLLM

• NeMo Framework ponúka skripty a rozhrania API na export modelov do dvoch knižníc optimalizovaných pre odvodenie, TensorRT-LLM a vLLM, a na nasadenie exportovaného modelu pomocou servera NVIDIA Triton Inference Server.
• Pre scenáre vyžadujúce optimalizovaný výkon môžu modely NeMo využiť TensorRT-LLM, špecializovanú knižnicu na zrýchlenie a optimalizáciu LLM odvodenia na GPU NVIDIA. Tento proces zahŕňa konverziu modelov NeMo do formátu kompatibilného s TensorRT-LLM pomocou modulu nemo.export.
  • Nasadenie LLM sa skončiloview
  • Nasaďte veľké jazykové modely NeMo pomocou NIM
  • Nasaďte veľké jazykové modely NeMo s TensorRT-LLM
  • Nasaďte veľké jazykové modely NeMo s vLLM

Podporované modely

Veľké jazykové modely

Veľké jazykové modely

Veľké jazykové modely	Predškolenie a SFT	PEFT	Zarovnanie	Konvergencia školení 8. RP	TRT/TRTLLM	Konvertovať do a z objímania tváre	Hodnotenie
Lama3 8B/70B, Lama3.1 405B	áno	áno	x	Áno (čiastočne overené)	áno	Obaja	áno
Mixtral 8x7B/8x22B	áno	áno	x	Áno (neoverené)	áno	Obaja	áno
Nemotron 3 8B	áno	x	x	Áno (neoverené)	x	Obaja	áno
Nemotron 4 340B	áno	x	x	Áno (neoverené)	x	Obaja	áno
Baichuan2 7B	áno	áno	x	Áno (neoverené)	x	Obaja	áno
ChatGLM3 6B	áno	áno	x	Áno (neoverené)	x	Obaja	áno
Gemma 2B/7B	áno	áno	x	Áno (neoverené)	áno	Obaja	áno
Gemma2 2B/9B/27B	áno	áno	x	Áno (neoverené)	x	Obaja	áno
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	áno	áno	x	Áno (neoverené)	x	x	áno
Phi3 mini 4k	x	áno	x	Áno (neoverené)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	áno	áno	x	Áno (neoverené)	áno	Obaja	áno
StarCoder 15B	áno	áno	x	Áno (neoverené)	áno	Obaja	áno
StarCoder2 3B/7B/15B	áno	áno	x	Áno (neoverené)	áno	Obaja	áno
BERT 110M/340M	áno	áno	x	Áno (neoverené)	x	Obaja	x
T5 220M/3B/11B	áno	áno	x	x	x	x	x

 

Jazykové modely vízie

 

Vkladanie modelov

 

Modely svetových nadácií

Poznámka
NeMo tiež podporuje predtrénovanie pre difúzne aj autoregresívne architektúry text2world základové modely.

Umelá inteligencia reči

Vývoj konverzačných modelov AI je zložitý proces, ktorý zahŕňa definovanie, konštruovanie a trénovanie modelov v rámci konkrétnych domén. Tento proces zvyčajne vyžaduje niekoľko iterácií na dosiahnutie vysokej úrovne presnosti. Často zahŕňa viacero iterácií na dosiahnutie vysokej presnosti, doladenie rôznych úloh a údajov špecifických pre doménu, zabezpečenie výkonu školenia a prípravu modelov na nasadenie odvodzovania.

NeMo Framework poskytuje podporu pre školenie a prispôsobenie modelov Speech AI. To zahŕňa úlohy ako automatické rozpoznávanie reči (ASR) a syntéza prevodu textu na reč (TTS). Ponúka hladký prechod na produkčné nasadenie na podnikovej úrovni s NVIDIA Riva. Na pomoc vývojárom a výskumníkom obsahuje NeMo Framework najmodernejšie vopred vyškolené kontrolné body, nástroje na reprodukovateľné spracovanie dát reči a funkcie na interaktívne skúmanie a analýzu dátových súborov reči. Komponenty NeMo Framework for Speech AI sú nasledovné:

Školenie a prispôsobenie
NeMo Framework obsahuje všetko potrebné na trénovanie a prispôsobenie rečových modelov (ASR, Klasifikácia reči, Rozpoznávanie reproduktorov, Diarizácia reproduktorova TTS) reprodukovateľným spôsobom.

Predtrénované modely SOTA

• NeMo Framework poskytuje najmodernejšie recepty a niekoľko vopred vyškolených kontrolných bodov ASR a TTS modely, ako aj návod na ich načítanie.
• Nástroje reči
• NeMo Framework poskytuje sadu nástrojov užitočných na vývoj modelov ASR a TTS vrátane:
  • NeMo Forced Aligner (NFA) na generovanie timest na úrovni tokenu, slova a segmentuampreči vo zvuku pomocou modelov automatického rozpoznávania reči NeMo založených na CTC.
  • Rečový dátový procesor (SDP), súpravu nástrojov na zjednodušenie spracovania rečových dát. Umožňuje vám reprezentovať operácie spracovania údajov v konfigurácii fileminimalizuje štandardný kód a umožňuje reprodukovateľnosť a zdieľanie.
  • Speech Data Explorer (SDE), založený na Dash web aplikácia na interaktívne skúmanie a analýzu dátových súborov reči.
  • Nástroj na vytváranie množiny údajov ktorý poskytuje funkcie na zarovnanie dlhého zvuku files príslušnými prepismi a rozdeliť ich na kratšie fragmenty, ktoré sú vhodné pre modelový tréning automatického rozpoznávania reči (ASR).
  • Nástroj na porovnanie pre modely ASR na porovnanie predpovedí rôznych modelov ASR na úrovni presnosti slov a výpovede.
  • Hodnotiteľ ASR na vyhodnotenie výkonu modelov ASR a ďalších funkcií, ako je napríklad detekcia hlasovej aktivity.
  • Nástroj na normalizáciu textu na prevod textu z písanej formy do hovorenej formy a naopak (napr. „31.“ vs. „tridsať prvý“).
• Cesta k nasadeniu
• Modely NeMo, ktoré boli vyškolené alebo prispôsobené pomocou rámca NeMo, je možné optimalizovať a nasadiť pomocou NVIDIA Riva. Riva poskytuje kontajnery a grafy Helm špeciálne navrhnuté na automatizáciu krokov na nasadenie tlačidla.

Iné zdroje

GitHub Repos

• NeMo: Hlavné úložisko pre NeMo Framework
• NeMo–Bežať: Nástroj na konfiguráciu, spustenie a správu vašich experimentov strojového učenia.
• NeMo-Aligner: Škálovateľná súprava nástrojov pre efektívne zarovnanie modelov
• NeMo-kurátor: Škálovateľná súprava nástrojov na predbežné spracovanie a správu údajov pre LLM

Získanie pomoci
Zapojte sa do komunity NeMo, pýtajte sa, získajte podporu alebo nahláste chyby.

• Diskusie NeMo
• Problémy NeMo

Programovacie jazyky a rámce

• Python: Hlavné rozhranie na používanie rámca NeMo
• Pytorch: NeMo Framework je postavený na PyTorch

Licencie

• NeMo Github repo je licencovaný pod licenciou Apache 2.0
• NeMo Framework je licencovaný podľa DOHODY O PRODUKTE NVIDIA AI. Vytiahnutím a použitím kontajnera súhlasíte s podmienkami tejto licencie.
• Kontajner NeMo Framework obsahuje materiály Llama, ktoré sa riadia licenčnou zmluvou komunity Meta Llama3.

Poznámky pod čiarou
V súčasnosti prebieha podpora NeMo Curator a NeMo Aligner pre multimodálne modely a bude k dispozícii veľmi skoro.

FAQ

Otázka: Ako môžem skontrolovať, či je môj systém ovplyvnený zraniteľnosťou?
Odpoveď: Môžete skontrolovať, či je váš systém ovplyvnený overením verzie nainštalovaného rámca NVIDIA NeMo Framework. Ak je nižšia ako verzia 24, váš systém môže byť zraniteľný.

Otázka: Kto nahlásil problém so zabezpečením CVE-2025-23360?
Odpoveď: Bezpečnostný problém nahlásil Or Peles – JFrog Security. NVIDIA uznáva ich prínos.

Otázka: Ako môžem v budúcnosti dostávať upozornenia na bulletin zabezpečenia?
Odpoveď: Navštívte stránku NVIDIA Product Security a prihláste sa na odber upozornení na bulletin zabezpečenia a buďte informovaní o aktualizáciách zabezpečenia produktu.