NVIDIA NeMo फ्रेमवर्क प्रयोगकर्ता गाइड

NVIDIA NeMo फ्रेमवर्क

निर्दिष्टीकरणहरू

• उत्पादनको नाम: NVIDIA NeMo फ्रेमवर्क
• प्रभावित प्लेटफार्महरू: विन्डोज, लिनक्स, म्याकोस
• प्रभावित संस्करणहरू: २४ भन्दा पहिलेका सबै संस्करणहरू
• सुरक्षा जोखिम: CVE-2025-23360
• जोखिम मूल्याङ्कन आधार स्कोर: ७.१ (CVSS संस्करण ३.१)

उत्पादन उपयोग निर्देशन

सुरक्षा अपडेट स्थापना:
तपाईंको प्रणाली सुरक्षित गर्न, यी चरणहरू पालना गर्नुहोस्:

1. GitHub मा रहेको NeMo-Framework-Launcher Releases पृष्ठबाट पछिल्लो रिलीज डाउनलोड गर्नुहोस्।
2. थप जानकारीको लागि NVIDIA उत्पादन सुरक्षामा जानुहोस्।

सुरक्षा अपडेट विवरणहरू:
सुरक्षा अपडेटले NVIDIA NeMo फ्रेमवर्कमा रहेको जोखिमलाई सम्बोधन गर्दछ जसले कोड कार्यान्वयन र डेटा ट्याग निम्त्याउन सक्छ।ampईरिंग

सफ्टवेयर अपग्रेड:
यदि तपाईं पहिलेको शाखा रिलिज प्रयोग गर्दै हुनुहुन्छ भने, सुरक्षा समस्यालाई सम्बोधन गर्न पछिल्लो शाखा रिलिजमा स्तरोन्नति गर्न सिफारिस गरिन्छ।

माथिview

NVIDIA NeMo फ्रेमवर्क एक स्केलेबल र क्लाउड-नेटिभ जेनेरेटिभ एआई फ्रेमवर्क हो जुन अनुसन्धानकर्ताहरू र विकासकर्ताहरूको लागि निर्मित छ जसमा काम गर्दैछन् ठूला भाषा मोडेलहरू, बहुविधिक, र भाषण एआई (जस्तै स्वचालित वाक् पहिचान र टेक्स्ट-टू-स्पीच)। यसले प्रयोगकर्ताहरूलाई अवस्थित कोड र पूर्व-प्रशिक्षित मोडेल चेकपोइन्टहरूको लाभ उठाएर नयाँ जेनेरेटिभ एआई मोडेलहरू कुशलतापूर्वक सिर्जना गर्न, अनुकूलित गर्न र तैनाथ गर्न सक्षम बनाउँछ।

सेटअप निर्देशनहरू: NeMo फ्रेमवर्क स्थापना गर्नुहोस्

ठूला भाषा मोडेलहरू र बहुविध मोडेलहरू
NeMo Framework ले ठूला भाषा मोडेलहरू (LLMs) र बहुमोडल मोडेलहरू (MMs) विकास गर्नको लागि अन्त्य-देखि-अन्त समर्थन प्रदान गर्दछ। यसले परिसरमा, डेटा-सेन्टरमा, वा तपाईंको मनपर्ने क्लाउड प्रदायकसँग प्रयोग गर्न लचिलोपन प्रदान गर्दछ। यसले SLURM वा Kubernetes सक्षम वातावरणहरूमा कार्यान्वयनलाई पनि समर्थन गर्दछ।

डेटा क्युरेसन
निमो क्युरेटर [1] पाइथन लाइब्रेरी हो जसमा डेटा माइनिङ र सिंथेटिक डेटा उत्पादनको लागि मोड्युलहरूको सुइट समावेश छ। तिनीहरू स्केलेबल छन् र GPU हरूको लागि अनुकूलित छन्, जसले गर्दा तिनीहरूलाई LLM हरूलाई तालिम दिन वा फाइन-ट्यून गर्न प्राकृतिक भाषा डेटा क्युरेट गर्नको लागि आदर्श बनाउँछ। NeMo क्युरेटरको साथ, तपाईं व्यापक कच्चाबाट उच्च-गुणस्तरको पाठ कुशलतापूर्वक निकाल्न सक्नुहुन्छ। web डेटा स्रोतहरू।

तालिम र अनुकूलन

NeMo फ्रेमवर्कले कुशल प्रशिक्षण र अनुकूलनको लागि उपकरणहरू प्रदान गर्दछ LLMs र मल्टिमोडल मोडेलहरू। यसमा कम्प्युट क्लस्टर सेटअप, डेटा डाउनलोडिङ, र मोडेल हाइपरप्यारामिटरहरूको लागि पूर्वनिर्धारित कन्फिगरेसनहरू समावेश छन्, जुन नयाँ डेटासेट र मोडेलहरूमा तालिम दिन समायोजन गर्न सकिन्छ। पूर्व-प्रशिक्षणको अतिरिक्त, NeMo ले LoRA, Ptuning, र थप जस्ता सुपरभाइज्ड फाइन-ट्युनिङ (SFT) र प्यारामिटर कुशल फाइन-ट्युनिङ (PEFT) प्रविधिहरू दुवैलाई समर्थन गर्दछ।

NeMo मा तालिम सुरु गर्न दुई विकल्पहरू उपलब्ध छन् - NeMo 2.0 API इन्टरफेस प्रयोग गरेर वा NeMo Run सँग।

• NeMo Run सँग (सिफारिस गरिएको): NeMo Run ले विभिन्न कम्प्युट वातावरणहरूमा प्रयोगहरूको कन्फिगरेसन, कार्यान्वयन र व्यवस्थापनलाई सुव्यवस्थित गर्न इन्टरफेस प्रदान गर्दछ। यसमा तपाईंको वर्कस्टेशनमा स्थानीय रूपमा वा ठूला क्लस्टरहरूमा - SLURM सक्षम वा क्लाउड वातावरणमा Kubernetes दुवैमा कार्यहरू सुरु गर्ने समावेश छ।
  • NeMo Run सँग पूर्व-प्रशिक्षण र PEFT द्रुत सुरुवात
• NeMo 2.0 API प्रयोग गर्दै: यो विधिले साना मोडेलहरू समावेश गर्ने साधारण सेटअपमा राम्रोसँग काम गर्छ, वा यदि तपाईं आफ्नै अनुकूलित डेटालोडर लेख्न, लूपहरू तालिम दिन, वा मोडेल तहहरू परिवर्तन गर्न इच्छुक हुनुहुन्छ भने। यसले तपाईंलाई कन्फिगरेसनहरूमा थप लचिलोपन र नियन्त्रण दिन्छ, र प्रोग्रामेटिक रूपमा कन्फिगरेसनहरू विस्तार र अनुकूलन गर्न सजिलो बनाउँछ।
  • ट्राNeMo 2.0 API सँग Quickstart सुरु गर्दै
  • NeMo १.० बाट NeMo २.० API मा माइग्रेट गर्दै

पङ्क्तिबद्धता

• निमो-अलाइनर [1] कुशल मोडेल पङ्क्तिबद्धताको लागि स्केलेबल टूलकिट हो। टूलकिटमा स्टीयरएलएम, डीपीओ, रिइन्फोर्समेन्ट लर्निङ फ्रम ह्युमन फिडब्याक (आरएलएचएफ) जस्ता अत्याधुनिक मोडेल पङ्क्तिबद्ध एल्गोरिदमहरू र अन्य धेरैको लागि समर्थन छ। यी एल्गोरिदमहरूले प्रयोगकर्ताहरूलाई भाषा मोडेलहरूलाई अझ सुरक्षित, हानिरहित र सहयोगी बनाउन पङ्क्तिबद्ध गर्न सक्षम बनाउँछन्।
• सबै NeMo-Aligner चेकपोइन्टहरू NeMo इकोसिस्टमसँग क्रस-कम्प्याटिबल छन्, जसले थप अनुकूलन र अनुमान तैनातीलाई अनुमति दिन्छ।

सानो GPT-2B मोडेलमा RLHF का तीनवटै चरणहरूको चरण-दर-चरण कार्यप्रवाह:

• SFT तालिम
• पुरस्कार मोडेल तालिम
• पीपीओ तालिम

यसको अतिरिक्त, हामी विभिन्न अन्य नयाँ पङ्क्तिबद्ध विधिहरूको लागि समर्थन प्रदर्शन गर्छौं:

• DPO: RLHF को तुलनामा सरल क्षति प्रकार्यको साथ हल्का पङ्क्तिबद्ध एल्गोरिथ्म।
• सेल्फ-प्ले फाइन-ट्युनिङ (स्पिन)
• स्टीयरएलएम: स्टीयरेबल आउटपुटको साथ, कन्डिसन्ड-SFT मा आधारित प्रविधि।

थप जानकारीको लागि कागजातहरू हेर्नुहोस्: पङ्क्तिबद्धता कागजात

बहुमोडल मोडेलहरू

• NeMo Framework ले धेरै वर्गहरूमा अत्याधुनिक बहु-मोडल मोडेलहरूलाई तालिम दिन र तैनाथ गर्न अनुकूलित सफ्टवेयर प्रदान गर्दछ: बहु-मोडल भाषा मोडेलहरू, दृष्टि-भाषा आधारहरू, पाठ-देखि-छवि मोडेलहरू, र न्यूरल रेडियन्स फिल्डहरू (NeRF) प्रयोग गरेर 2D जेनेरेसनभन्दा बाहिर।
• प्रत्येक श्रेणीलाई यस क्षेत्रमा विशिष्ट आवश्यकताहरू र प्रगतिहरू पूरा गर्न डिजाइन गरिएको छ, पाठ, छविहरू, र 3D मोडेलहरू सहित डेटा प्रकारहरूको विस्तृत दायरा ह्यान्डल गर्न अत्याधुनिक मोडेलहरूको लाभ उठाउँदै।

तैनाती र अनुमान
NeMo फ्रेमवर्कले LLM अनुमानको लागि विभिन्न मार्गहरू प्रदान गर्दछ, विभिन्न तैनाती परिदृश्यहरू र कार्यसम्पादन आवश्यकताहरू पूरा गर्दछ।

NVIDIA NIM सँग डिप्लोय गर्नुहोस्

• NeMo फ्रेमवर्क NVIDIA NIM मार्फत इन्टरप्राइज-स्तर मोडेल डिप्लोयमेन्ट उपकरणहरूसँग निर्बाध रूपमा एकीकृत हुन्छ। यो एकीकरण NVIDIA TensorRT-LLM द्वारा संचालित छ, जसले अनुकूलित र स्केलेबल अनुमान सुनिश्चित गर्दछ।
• NIM बारे थप जानकारीको लागि, NVIDIA मा जानुहोस् webसाइट।

TensorRT-LLM वा vLLM सँग डिप्लोय गर्नुहोस्

• NeMo Framework ले दुई इन्फरन्स अप्टिमाइज्ड लाइब्रेरीहरू, TensorRT-LLM र vLLM मा मोडेलहरू निर्यात गर्न र NVIDIA Triton इन्फरन्स सर्भरसँग निर्यात गरिएको मोडेल तैनाथ गर्न स्क्रिप्ट र API हरू प्रदान गर्दछ।
• अनुकूलित कार्यसम्पादन आवश्यक पर्ने परिदृश्यहरूको लागि, NeMo मोडेलहरूले NVIDIA GPU हरूमा LLM अनुमानलाई गति दिन र अनुकूलन गर्नको लागि एक विशेष पुस्तकालय TensorRT-LLM प्रयोग गर्न सक्छन्। यस प्रक्रियामा nemo.export मोड्युल प्रयोग गरेर NeMo मोडेलहरूलाई TensorRT-LLM सँग मिल्दो ढाँचामा रूपान्तरण गर्ने समावेश छ।
  • LLM तैनाती समाप्तview
  • NIM सँग NeMo ठूला भाषा मोडेलहरू तैनाथ गर्नुहोस्
  • TensorRT-LLM सँग NeMo ठूला भाषा मोडेलहरू तैनाथ गर्नुहोस्
  • vLLM सँग NeMo ठूला भाषा मोडेलहरू तैनाथ गर्नुहोस्

समर्थित मोडेलहरू

ठूला भाषा मोडेलहरू

ठूला भाषा मोडेलहरू

ठूला भाषा मोडेलहरू	पूर्व-प्रशिक्षण र SFT	PEFT वैकल्पिक	पङ्क्तिबद्धता	FP8 प्रशिक्षण अभिसरण	TRT/TRTLLM	अँगालो हाल्ने अनुहारमा र बाट रूपान्तरण गर्नुहोस्	मूल्याङ्कन
लामा३ ८बी/७०बी, लामा३.१ ४०५बी	हो	हो	x	हो (आंशिक रूपमा प्रमाणित)	हो	दुबै	हो
मिक्सट्रल ८x७B/८x२२B	हो	हो	x	हो (प्रमाणित नगरिएको)	हो	दुबै	हो
निमोट्रोन ३ ८बी	हो	x	x	हो (प्रमाणित नगरिएको)	x	दुबै	हो
निमोट्रोन ३ ८बी	हो	x	x	हो (प्रमाणित नगरिएको)	x	दुबै	हो
बाईचुआन२ ७बी	हो	हो	x	हो (प्रमाणित नगरिएको)	x	दुबै	हो
च्याटजीएलएम३ ६बी	हो	हो	x	हो (प्रमाणित नगरिएको)	x	दुबै	हो
जेम्मा २बी/७बी	हो	हो	x	हो (प्रमाणित नगरिएको)	हो	दुबै	हो
जेम्मा२ २बी/९बी/२७बी	हो	हो	x	हो (प्रमाणित नगरिएको)	x	दुबै	हो
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	हो	हो	x	हो (प्रमाणित नगरिएको)	x	x	हो
Phi3 मिनी ४k	x	हो	x	हो (प्रमाणित नगरिएको)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	हो	हो	x	हो (प्रमाणित नगरिएको)	हो	दुबै	हो
स्टारकोडर १५बी	हो	हो	x	हो (प्रमाणित नगरिएको)	हो	दुबै	हो
स्टारकोडर२ ३बी/७बी/१५बी	हो	हो	x	हो (प्रमाणित नगरिएको)	हो	दुबै	हो
BERT ११०M/३४०M को लागि सोधपुछ पेश गर्नुहोस्, हामी तपाईंलाई 110 घण्टामा सम्पर्क गर्नेछौं।	हो	हो	x	हो (प्रमाणित नगरिएको)	x	दुबै	x
T5 220M/3B/11B को लागि सोधपुछ पेश गर्नुहोस्, हामी तपाईंलाई XNUMX घण्टामा सम्पर्क गर्नेछौं।	हो	हो	x	x	x	x	x

 

दृष्टि भाषा मोडेलहरू

 

इम्बेडिङ मोडेलहरू

 

विश्व फाउन्डेसन मोडेलहरू

नोट
NeMo ले प्रसार र अटोरेग्रेसिभ आर्किटेक्चर दुवैको लागि पूर्व-प्रशिक्षणलाई पनि समर्थन गर्दछ। text2world आधार मोडेलहरू।

भाषण एआई

कुराकानीत्मक एआई मोडेलहरू विकास गर्नु एक जटिल प्रक्रिया हो जसमा विशेष डोमेन भित्र मोडेलहरू परिभाषित गर्ने, निर्माण गर्ने र प्रशिक्षण दिने काम समावेश हुन्छ। यो प्रक्रियालाई सामान्यतया उच्च स्तरको शुद्धतामा पुग्न धेरै पुनरावृत्तिहरू आवश्यक पर्दछ। यसमा प्रायः उच्च शुद्धता प्राप्त गर्न, विभिन्न कार्यहरू र डोमेन-विशिष्ट डेटामा फाइन-ट्यूनिंग गर्न, प्रशिक्षण प्रदर्शन सुनिश्चित गर्न, र अनुमान तैनातीका लागि मोडेलहरू तयार गर्न धेरै पुनरावृत्तिहरू समावेश हुन्छन्।

NeMo Framework ले Speech AI मोडेलहरूको तालिम र अनुकूलनको लागि समर्थन प्रदान गर्दछ। यसमा स्वचालित Speech Recognition (ASR) र Text-to-Speech (TTS) संश्लेषण जस्ता कार्यहरू समावेश छन्। यसले NVIDIA Riva सँग इन्टरप्राइज-स्तर उत्पादन तैनातीमा सहज संक्रमण प्रदान गर्दछ। विकासकर्ताहरू र अनुसन्धानकर्ताहरूलाई सहयोग गर्न, NeMo Framework मा अत्याधुनिक पूर्व-प्रशिक्षित चेकपोइन्टहरू, पुनरुत्पादन योग्य स्पीच डेटा प्रशोधनका लागि उपकरणहरू, र स्पीच डेटासेटहरूको अन्तरक्रियात्मक अन्वेषण र विश्लेषणका लागि सुविधाहरू समावेश छन्। Speech AI को लागि NeMo Framework का घटकहरू निम्नानुसार छन्:

तालिम र अनुकूलन
NeMo फ्रेमवर्कमा भाषण मोडेलहरूलाई तालिम दिन र अनुकूलन गर्न आवश्यक पर्ने सबै कुराहरू समावेश छन् (ASR, भाषण वर्गीकरण, वक्ता पहिचान, स्पिकर डायराइजेसन, र TTS) पुनरुत्पादनयोग्य तरिकाले।

SOTA पूर्व-प्रशिक्षित मोडेलहरू

• NeMo Framework ले अत्याधुनिक रेसिपीहरू र धेरै पूर्व-प्रशिक्षित चेकपोइन्टहरू प्रदान गर्दछ ASR र TTS मोडेलहरू, साथै तिनीहरूलाई कसरी लोड गर्ने भन्ने बारे निर्देशनहरू।
• भाषण उपकरणहरू
• NeMo Framework ले ASR र TTS मोडेलहरू विकास गर्न उपयोगी उपकरणहरूको सेट प्रदान गर्दछ, जसमा समावेश छन्:
  • NeMo फोर्स्ड एलाइनर (NFA) टोकन-, शब्द- र खण्ड-स्तर टाइमस्ट उत्पन्न गर्नको लागिampNeMo को CTC-आधारित स्वचालित वाक् पहिचान मोडेलहरू प्रयोग गरेर अडियोमा बोलीको आवाज।
  • स्पीच डाटा प्रोसेसर (SDP), स्पीच डाटा प्रशोधनलाई सरल बनाउनको लागि एउटा टुलकिट। यसले तपाईंलाई कन्फिगरेसनमा डाटा प्रशोधन कार्यहरू प्रतिनिधित्व गर्न अनुमति दिन्छ। file, बयलरप्लेट कोडलाई न्यूनतम गर्दै र पुनरुत्पादन र साझेदारीलाई अनुमति दिँदै।
  • स्पीच डेटा एक्सप्लोरर (SDE), ड्यासमा आधारित web भाषण डेटासेटहरूको अन्तरक्रियात्मक अन्वेषण र विश्लेषणको लागि आवेदन।
  • डेटासेट सिर्जना उपकरण जसले लामो अडियो पङ्क्तिबद्ध गर्न कार्यक्षमता प्रदान गर्दछ fileसम्बन्धित ट्रान्सक्रिप्टहरू सहितको अध्ययन गर्नुहोस् र तिनीहरूलाई स्वचालित भाषण पहिचान (ASR) मोडेल प्रशिक्षणको लागि उपयुक्त छोटो टुक्राहरूमा विभाजन गर्नुहोस्।
  • तुलना उपकरण शब्द शुद्धता र उच्चारण स्तरमा विभिन्न ASR मोडेलहरूको भविष्यवाणी तुलना गर्न ASR मोडेलहरूको लागि।
  • ASR मूल्याङ्कनकर्ता ASR मोडेलहरूको कार्यसम्पादन र आवाज गतिविधि पत्ता लगाउने जस्ता अन्य सुविधाहरूको मूल्याङ्कन गर्न।
  • पाठ सामान्यीकरण उपकरण लिखित रूपबाट मौखिक रूपान्तरण गर्न र यसको विपरीत (जस्तै "३१ औं" बनाम "एकतीसौं")।
• तैनाथीको बाटो
• NeMo फ्रेमवर्क प्रयोग गरेर प्रशिक्षित वा अनुकूलित गरिएका NeMo मोडेलहरूलाई NVIDIA Riva सँग अनुकूलित र तैनाथ गर्न सकिन्छ। Riva ले पुश-बटन तैनाथीको लागि चरणहरू स्वचालित गर्न विशेष रूपमा डिजाइन गरिएका कन्टेनरहरू र हेल्म चार्टहरू प्रदान गर्दछ।

अन्य स्रोतहरू

गिटहब रिपोज

• निमो: NeMo फ्रेमवर्कको लागि मुख्य भण्डार
• निमो-चलाउनुहोस्: तपाईंको मेसिन लर्निङ प्रयोगहरू कन्फिगर, सुरुवात र व्यवस्थापन गर्ने उपकरण।
• निमो-अलाइनर: कुशल मोडेल पङ्क्तिबद्धताको लागि स्केलेबल टूलकिट
• निमो-क्युरेटर: LLM हरूको लागि स्केलेबल डेटा प्रि-प्रोसेसिङ र क्युरेसन टूलकिट

मद्दत प्राप्त गर्दै
NeMo समुदायसँग संलग्न हुनुहोस्, प्रश्नहरू सोध्नुहोस्, समर्थन प्राप्त गर्नुहोस्, वा बगहरू रिपोर्ट गर्नुहोस्।

• निमो छलफलहरू
• निमो मुद्दाहरू

प्रोग्रामिङ भाषाहरू र फ्रेमवर्कहरू

• पाइथन: NeMo फ्रेमवर्क प्रयोग गर्ने मुख्य इन्टरफेस
• पाइटोर्च: NeMo फ्रेमवर्क PyTorch को माथि बनाइएको छ।

इजाजतपत्रहरू

• NeMo Github repo Apache 2.0 लाइसेन्स अन्तर्गत इजाजतपत्र प्राप्त छ।
• NeMo Framework NVIDIA AI PRODUCT AGREEMENT अन्तर्गत इजाजतपत्र प्राप्त छ। कन्टेनर तानेर प्रयोग गरेर, तपाईं यस इजाजतपत्रका नियम र सर्तहरू स्वीकार गर्नुहुन्छ।
• NeMo फ्रेमवर्क कन्टेनरमा Meta Llama3 सामुदायिक इजाजतपत्र सम्झौताद्वारा शासित लामा सामग्रीहरू छन्।

फुटनोटहरू
हाल, मल्टिमोडल मोडेलहरूको लागि नेमो क्युरेटर र नेमो एलाइनर समर्थनको काम प्रगतिमा छ र चाँडै उपलब्ध हुनेछ।

FAQ

प्रश्न: मेरो प्रणाली जोखिमबाट प्रभावित छ कि छैन भनेर म कसरी जाँच गर्न सक्छु?
A: तपाईंले स्थापित NVIDIA NeMo फ्रेमवर्कको संस्करण प्रमाणित गरेर तपाईंको प्रणाली प्रभावित छ कि छैन भनेर जाँच गर्न सक्नुहुन्छ। यदि यो संस्करण २४ भन्दा कम छ भने, तपाईंको प्रणाली कमजोर हुन सक्छ।

प्रश्न: सुरक्षा समस्या CVE-2025-23360 कसले रिपोर्ट गर्यो?
A: सुरक्षा समस्या Or Peles - JFrog Security द्वारा रिपोर्ट गरिएको थियो। NVIDIA ले उनीहरूको योगदानलाई स्वीकार गर्दछ।

प्रश्न: म भविष्यको सुरक्षा बुलेटिन सूचनाहरू कसरी प्राप्त गर्न सक्छु?
A: सुरक्षा बुलेटिन सूचनाहरूको सदस्यता लिन र उत्पादन सुरक्षा अपडेटहरूको बारेमा जानकारी प्राप्त गर्न NVIDIA उत्पादन सुरक्षा पृष्ठमा जानुहोस्।