स्पार्क में कोर और एक्ज़ीक्यूटर्स क्या होते हैं?
निष्पादक कार्यकर्ता नोड्स की प्रक्रियाएं हैं जो किसी दिए गए स्पार्क नौकरी में व्यक्तिगत कार्यों को चलाने के लिए जिम्मेदार हैं। उन्हें स्पार्क एप्लिकेशन की शुरुआत में लॉन्च किया जाता है और आम तौर पर एक एप्लिकेशन के पूरे जीवनकाल के लिए चलाया जाता है। एक बार जब वे कार्य पूरा कर लेते हैं तो वे ड्राइवर को परिणाम भेजते हैं।
इसके अलावा, स्पार्क कोर क्या है? स्पार्क कोर पूरे स्पार्क प्रोजेक्ट की मूलभूत इकाई है। यह टास्क डिस्पैचिंग, शेड्यूलिंग और इनपुट-आउटपुट ऑपरेशंस आदि जैसी सभी प्रकार की कार्यक्षमता प्रदान करता है। स्पार्क विशेष डेटा संरचना का उपयोग करता है जिसे आरडीडी (रेसिलिएंट डिस्ट्रिब्यूटेड डेटासेट) के रूप में जाना जाता है। यह एपीआई के लिए घर है जो आरडीडी को परिभाषित और हेरफेर करता है।
इसके बाद, आप चिंगारी में निष्पादकों की संख्या कैसे चुनते हैं?
उपलब्ध निष्पादकों की संख्या = (कुल कोर/संख्या-कोर-प्रति- निष्पादक ) = 150/5 = 30. अनुप्रयोग प्रबंधक के लिए 1 निष्पादक को छोड़ना => --num- निष्पादक = 29. प्रति नोड निष्पादकों की संख्या = 30/10 = 3 मेमोरी प्रति निष्पादक = 64GB/3 = 21GB।
स्पार्क यार्न एक्ज़ीक्यूटर मेमोरीओवरहेड का उपयोग किसके लिए किया जाता है?
चिंगारी का मूल्य। सूत । निष्पादक । memoryOverhead संपत्ति प्रबंधक स्मृति में जोड़ा जाता है प्रत्येक निष्पादक के लिए यार्न के लिए पूर्ण स्मृति अनुरोध निर्धारित करने के लिए।
डिफ़ॉल्ट स्पार्क निष्पादक मेमोरी क्या है?
स्पार्क में एक्ज़ीक्यूटर मेमोरी क्या है?
क्या होता है जब निष्पादक चिंगारी में विफल हो जाता है?
मैं स्पार्क जॉब को कैसे ट्यून करूं?
- डेटा एब्स्ट्रैक्शन चुनें।
- इष्टतम डेटा प्रारूप का उपयोग करें।
- डिफ़ॉल्ट भंडारण का चयन करें।
- कैश का प्रयोग करें।
- मेमोरी का कुशलता से उपयोग करें।
- डेटा क्रमांकन का अनुकूलन करें।
- बकेटिंग का प्रयोग करें।
- जुड़ने और फेरबदल का अनुकूलन करें।
मैं स्पार्क में ड्राइवर और एक्ज़ीक्यूटर मेमोरी कैसे सेट करूँ?
- इसे गुण फ़ाइल में सेट करना (डिफ़ॉल्ट $SPARK_HOME/conf/spark-defaults.conf है), Spark.driver.memory 5g।
- या रनटाइम पर कॉन्फ़िगरेशन सेटिंग की आपूर्ति करके $ ./bin/spark-shell --driver-memory 5g.