BERT-ठूलो अनुमान 4.96 पटक सम्म
प्रयोगकर्ता गाइड

BERT-लार्ज इन्फरेन्सको 4.96 पटक सम्म प्राप्त गर्नुहोस्

M6i उदाहरणहरूले AWS Graviton6 प्रोसेसरहरू प्रस्तुत गर्ने M2g उदाहरणहरू भन्दा बढी इन्फरेन्स कार्य प्रदर्शन गर्यो
प्राकृतिक भाषा मेसिन लर्निङ इन्फरेन्सन वर्कलोडले च्याटबटहरू र अन्य व्यावसायिक अनुप्रयोगहरूलाई निहित गर्दछ। यी कार्यभारहरूले ग्राहकहरू र अन्य प्रयोगकर्ताहरूद्वारा टाइप गरिएको पाठको विश्लेषण गर्दा, तिनीहरूले गणना स्रोतहरूमा भारी मागहरू राख्न सक्छन्। यसले उच्च प्रदर्शन प्रदान गर्ने क्लाउड उदाहरणहरू छनौट गर्न महत्त्वपूर्ण बनाउँछ।
BERT-Large एउटा सामान्य-उद्देश्य प्राकृतिक भाषा प्रशोधन (NLP) मोडेल हो जुन हामीले दुई Amazon को प्रदर्शन मापन गर्न रोज्यौं। Web सेवाहरू (AWS) EC2 क्लाउड उदाहरण प्रकारहरू। हामीले 6rd Gen Intel Xeon स्केलेबल प्रोसेसरहरू र AWS Graviton3 प्रोसेसरहरूसँग M6g उदाहरणहरूका दुई साइजको M2i उदाहरणहरू परीक्षण गर्यौं।
हामीले फेला पार्‍यौं कि 32-vCPU र 64-vCPU M6i उदाहरणहरू 3rd Gen Intel Xeon Scalable प्रोसेसरहरूसँग तिनीहरूको M6g समकक्षहरू भन्दा बढी छन्। हाम्रो खोजहरूले M6i उदाहरणहरूको लागि छनौट गरेर व्यवसायहरूले आफ्ना प्रयोगकर्ताहरूलाई द्रुत अनुभव प्रदान गर्न सक्छन् भनेर चित्रण गर्दछ। थप रूपमा, प्रकाशनको समयमा, M6i श्रृंखला VMs को M24.6g श्रृंखला VMs भन्दा 6% बढी लागतमा, M6i उदाहरणहरू - थ्रुपुटको 4.96 गुणा सम्मको कार्यसम्पादनको साथ-प्रति डलर उल्लेखनीय रूपमा राम्रो प्रदर्शन प्रस्ताव गर्दछ।

6 vCPU सँग M32i उदाहरणहरू
दुई AWS उदाहरण श्रृंखला को BERT-ठूलो अनुमान प्रदर्शन तुलना गर्न, हामीले TensorFlow फ्रेमवर्क प्रयोग गर्यौं। हामीले दुई परिशुद्धता स्तरहरू परीक्षण गर्यौं: FP32, जुन VM हरूको दुवै शृङ्खलालाई समर्थन गर्दछ, र INT8, जुन M6i शृङ्खलाले मात्र हामीले प्रयोग गरेका मोडेलहरूसँग समर्थन गर्दछ। चित्र 1 ले देखाउँछ, INT32 परिशुद्धता प्रयोग गरी 6-v CPU m8i.8x ठूला उदाहरणहरूले FP4.96 परिशुद्धता प्रयोग गरेर m6g.8x ठूला उदाहरणहरूको प्रदर्शनको 32 गुणा डेलिभर गरेको छ।

सापेक्ष 32-vCPU BERT-ठूलो अनुमान प्रदर्शन
स्पीडअप | उच्च राम्रो छ

चित्र 1. BERT- 6rd संग m8i.3x ठूला उदाहरण क्लस्टर द्वारा प्राप्त ठूलो अनुमान प्रदर्शन
Gen Intel Xeon स्केलेबल प्रोसेसरहरू र M6g.8x ठूला उदाहरण क्लस्टर द्वारा AWS Graviton2 प्रोसेसरहरू। उच्च राम्रो छ।

BERT-ठूलो

4.96-vCPU m8i.32x ठूला उदाहरणहरू सहित 6rd Gen Intel Xeon स्केलेबल प्रोसेसरहरू सहित BERT-ठूलो अनुमान कार्य (INT8 परिशुद्धता) को 3 गुणा सम्म प्राप्त गर्नुहोस्।
m32g.6x ठूला उदाहरणहरूसँग FP8 परिशुद्धता बनाम

3.07 गुणा BERT-ठूलो अनुमान कार्य (INT8 परिशुद्धता) 64‑vCPU m6i.16x ठूला उदाहरणहरू 3rd Gen Intel Xeon स्केलेबल प्रोसेसरहरू सहित प्राप्त गर्नुहोस्।
m32g.6x ठूला उदाहरणहरूसँग FP16 परिशुद्धता बनाम

6 vCPU सँग M64i उदाहरणहरू

चित्र 2 ले देखाएको रूपमा, 64rd Gen Intel® Xeon® स्केलेबल प्रोसेसरहरूसँग INT6 सटीक प्रयोग गरी 16-vCPU m3i.8x ठूला उदाहरणहरूले FP3.07 सटीक प्रयोग गरेर AWS Graviton6 प्रोसेसरहरूसँग m16g.2x ठूला उदाहरणहरूको प्रदर्शनको 32 गुणा प्रदर्शन गर्‍यो।
नोट: हामीले AWS Graviton2 प्रोसेसरहरूको लागि प्रयोग गरेको BERT-ठूलो मोडेलले TensorFlow मा INT8 लाई समर्थन गर्दैन। 

निष्कर्ष

हामीले दुई AWS उदाहरण शृङ्खलाको BERT-ठूलो प्राकृतिक भाषा प्रशोधन अनुमान प्रदर्शन परीक्षण गर्‍यौं: M6i उदाहरणहरू तेस्रो विशेषता
Gen Intel Xeon स्केलेबल प्रोसेसरहरू र M6g उदाहरणहरू AWS Graviton2 प्रोसेसरहरू। दुई फरक साइजमा, M6i उदाहरणहरूले M6g उदाहरणहरू भन्दा 4.96 गुणासम्मको अनुमान कार्य हासिल गर्‍यो। तपाइँका ग्राहकहरु र अन्य प्रयोगकर्ताहरु लाई छिटो अनुभव प्रदान गर्न को लागी, 6rd Gen Intel Xeon स्केलेबल प्रोसेसरहरु संग AWS M3i उदाहरणहरुमा तपाइँको NLP अनुमान कार्यभार चलाउनुहोस्।
थप जान्नुहोस्
6rd Gen Intel Xeon स्केलेबल प्रोसेसरहरूको साथ AWS M3i उदाहरणहरूमा तपाईंको NLP अनुमान कार्यभारहरू चलाउन सुरु गर्न, भ्रमण गर्नुहोस् https://aws.amazon.com/ec2/instance-types/m6i/.
Intel द्वारा 11/10/2021 र 12/01/2021 मा एकल VM परीक्षण। Ubuntu 20.04 LTS, 5.11.0-1022-aws, EBS भण्डारण, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, सँग कन्फिगर गरिएका सबै VM हरू
कन्टेनर = 1.5.5, BERT मोडेल, ब्याच साइज 1, अनुक्रम लम्बाइ 384, FP32 र INT8 परिशुद्धता। उदाहरण विवरणहरू: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 128 GB कुल DDR4 मेमोरी; m6g.8xlarge, 32vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 128 GB कुल DDR4 मेमोरी; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 256 GB कुल DDR4 मेमोरी; m6g.16xlarge, 64vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 256 GB कुल DDR4 मेमोरी।

प्रदर्शन प्रयोग, कन्फिगरेसन र अन्य कारकहरू द्वारा भिन्न हुन्छ। मा थप जान्नुहोस् www.intel.com/perperpanandindeex.
प्रदर्शन परिणामहरू कन्फिगरेसनहरूमा देखाइएका मितिहरूको परीक्षणमा आधारित हुन्छन् र सबै सार्वजनिक रूपमा उपलब्ध अद्यावधिकहरू प्रतिबिम्बित नहुन सक्छ। कन्फिगरेसन विवरणहरूको लागि ब्याकअप हेर्नुहोस्। कुनै पनि उत्पादन वा कम्पोनेन्ट पूर्ण रूपमा सुरक्षित हुन सक्दैन। तपाईंको लागत र परिणाम फरक हुन सक्छ।
इंटेल टेक्नोलोजीहरूले सक्षम हार्डवेयर, सफ्टवेयर वा सेवा सक्रियताको आवश्यक हुन सक्दछ।
© इंटेल निगम। Intel, Intel लोगो, र अन्य Intel मार्कहरू Intel Corporation वा यसको सहायक कम्पनीहरूको ट्रेडमार्क हुन्। अन्य नाम र ब्रान्डहरू अरूको सम्पत्तिको रूपमा दाबी गर्न सकिन्छ।
USA 0722/JO/PT/PDF US002 मा छापिएको

कृपया रिसाइकल गर्नुहोस्

कागजातहरू / स्रोतहरू

intel ले BERT-ठूलो अनुमानको 4.96 गुणा सम्म हासिल गर्यो [pdf] प्रयोगकर्ता गाइड BERT-लार्ज इन्फरेन्सको 4.96 गुणासम्म हासिल गर्नुहोस्, 4.96 पटकसम्म BERT-ठूलो इन्फरन्स प्राप्त गर्नुहोस्

सन्दर्भहरू

• प्रयोगकर्ता पुस्तिका