अपाचे स्टॉर्म के लिए शीर्ष 30 साक्षात्कार प्रश्न और उत्तर (2026)
प्रफुल्ल रणदिवे
👉 मुफ़्त PDF डाउनलोड करें: अपाचे स्टॉर्म इंटरव्यू प्रश्न और उत्तर
अपाचे स्टॉर्म के लिए शीर्ष साक्षात्कार प्रश्न और उत्तर
1) अपाचे स्टॉर्म क्या है?
अपाचे स्टॉर्म एक है distributed real-time stream processing system इसे कम विलंबता और उच्च थ्रूपुट के साथ बड़ी मात्रा में आने वाले डेटा को संसाधित करने के लिए डिज़ाइन किया गया है। यह रियल-टाइम एनालिटिक्स और निरंतर गणना में उत्कृष्ट है, जबकि हैडूप जैसे बैच सिस्टम संग्रहीत डेटा पर काम करते हैं। स्टॉर्म दोष-सहिष्णु, स्केलेबल है और मैसेज ब्रोकर, डेटाबेस और मॉनिटरिंग टूल जैसे बाहरी सिस्टम के साथ अच्छी तरह से एकीकृत होता है।
2) अपाचे स्टॉर्म के मुख्य घटक क्या हैं?
स्टॉर्म की वास्तुकला में कई प्रमुख घटक शामिल हैं जो वास्तविक समय में डेटा प्रोसेसिंग को व्यवस्थित करते हैं:
| घटक | विवरण |
|---|---|
| चमक | मास्टर नोड वह नोड है जो कोड वितरित करता है, कार्य सौंपता है और क्लस्टर की निगरानी करता है। |
| पर्यवेक्षक | वर्कर नोड जो निम्बस द्वारा सौंपे गए कार्यों को चलाता है |
| चिड़ियाघर संचालक | यह वितरित समन्वय और क्लस्टर स्थिति प्रबंधन प्रदान करता है। |
| श्रमिक प्रक्रिया | टोपोलॉजी के एक भाग को निष्पादित करता है |
| निष्पादक और कार्य | थ्रेड्स और प्रोसेसिंग यूनिट्स काम करते हैं |
ये घटक क्लस्टर में वितरित समन्वय, कार्य आवंटन और त्रुटि सहनशीलता सुनिश्चित करते हैं।
3) अपाचे स्टॉर्म में टोपोलॉजी क्या है?
A topology अपाचे स्टॉर्म में, टोपोलॉजी एक निर्देशित चक्रीय ग्राफ (डीएजी) है जो सिस्टम के माध्यम से डेटा के प्रवाह को परिभाषित करता है। यह डेटा के स्रोतों (स्पाउट्स) को प्रोसेसिंग यूनिट्स (बोल्ट) से जोड़ता है। एक बार सबमिट होने के बाद, टोपोलॉजी अनिश्चित काल तक चलती रहती है, मैन्युअल रूप से समाप्त होने तक लगातार स्ट्रीमिंग डेटा को संसाधित करती रहती है। संरचना और समूह...ping टोपोलॉजी में रणनीतियाँ यह निर्धारित करती हैं कि टुपल्स (डेटा इकाइयाँ) घटकों के बीच कैसे स्थानांतरित होती हैं और संसाधित होती हैं।
4) तूफान में स्पाउट्स और बोल्ट्स की व्याख्या कीजिए।
- टोंटी: स्पाउट, स्टॉर्म टोपोलॉजी में डेटा स्ट्रीमिंग के लिए प्रवेश बिंदु है। यह फाइलों, मैसेज ब्रोकर्स (जैसे काफ्का), एपीआई आदि जैसे बाहरी स्रोतों से डेटा पढ़ता है और स्ट्रीम में टुपल्स उत्सर्जित करता है।
- बोल्ट: बोल्ट आने वाले टुपल्स को प्रोसेस करता है। बोल्ट फ़िल्टर कर सकते हैं, एग्रीगेट कर सकते हैं, जोड़ सकते हैं, परिणामों को सहेज सकते हैं या आगे नए टुपल्स भेज सकते हैं। जटिल डेटा प्रोसेसिंग बोल्ट के संयोजन से निर्मित होती है।
5) अपाचे स्टॉर्म में टपल और स्ट्रीम क्या हैं?
A tuple स्टॉर्म में मुख्य डेटा संरचना एक क्रमबद्ध मान सूची (अर्थात, एक रिकॉर्ड) का प्रतिनिधित्व करती है। stream यह एक टोपोलॉजी के माध्यम से प्रवाहित होने वाले टुपल्स का एक असीमित अनुक्रम है। स्ट्रीम में प्रत्येक टुपल बोल्ट्स में आगे की प्रोसेसिंग को ट्रिगर कर सकता है। टुपल्स और स्ट्रीम मिलकर स्टॉर्म को डेटा को निरंतर रूप से स्थानांतरित और संसाधित करने में सक्षम बनाते हैं।
6) विभिन्न स्ट्रीम समूह क्या हैं?ping स्टॉर्म में किस प्रकार के उत्पाद उपलब्ध हैं?
तूफान कई का समर्थन करता है stream grouping एक घटक से दूसरे घटक तक टुपल्स को रूट करने की रणनीतियाँ:
- शफल ग्रुपping: लोड बैलेंसिंग को समान रूप से बनाए रखने के लिए टुपल्स को बेतरतीब ढंग से वितरित करता है।
- फील्ड्स ग्रुपping: समान फ़ील्ड मानों वाले टुपल्स को एक विशिष्ट बोल्ट टास्क में भेजता है
- वैश्विक समूहping: सभी टुपल्स को एक बोल्ट इंस्टेंस पर रूट करता है
- सभी समूहping: प्रत्येक टपल को सभी बोल्ट इंस्टेंस में भेजता है
- डायरेक्ट ग्रुपping: किसी विशिष्ट कार्य के लिए स्पष्ट रूटिंग की अनुमति देता है
ये समूहpingयह इस बात को प्रभावित करता है कि डेटा को किस प्रकार विभाजित किया जाता है और समानांतर रूप से संसाधित किया जाता है।
7) स्टॉर्म फॉल्ट टॉलरेंस कैसे सुनिश्चित करता है?
स्टॉर्म निम्नलिखित के संयोजन के माध्यम से फॉल्ट टॉलरेंस प्रदान करता है:
- कार्य पर्यवेक्षण: निम्बस और पर्यवेक्षक विफल श्रमिकों को पुनः आरंभ करते हैं
- स्वीकृतियाँ: बोल्ट और स्पाउट टपल पूर्णता को स्वीकार करते हैं
- रिप्ले: टाइमआउट के भीतर प्रोसेस न हो पाने वाले टुपल्स को दोबारा चलाया जाता है।
- चिड़ियाघर के रखवाले का समन्वय: यह वितरित नियंत्रण और क्लस्टर स्थिरता सुनिश्चित करता है।
ये तंत्र स्टॉर्म को नोड विफलताओं से सुचारू रूप से उबरने में मदद करते हैं, साथ ही डेटा प्रोसेसिंग की निरंतरता सुनिश्चित करते हैं।
8) स्टॉर्म में मैसेज प्रोसेसिंग गारंटी क्या हैं?
स्टॉर्म तीन प्रोसेसिंग सिमेंटिक्स का समर्थन करता है:
| गारंटी | विवरण |
|---|---|
| पर सर्वाधिक एक बार | संदेश खो सकता है लेकिन उसे कभी दोबारा संसाधित नहीं किया जाएगा। |
| कम से कम एक बार | संदेश को संसाधित होने तक पुनः प्रयास किया जाता है (डिफ़ॉल्ट) |
| ठीक एक बार | विफलताओं के बावजूद प्रत्येक संदेश को एक बार संसाधित किया जाता है। |
स्वीकृति और लेन-देन संबंधी तंत्रों के माध्यम से एक्जेक्टली-वन्स हासिल किया जाता है, आमतौर पर स्टेटफुल वर्कफ़्लो के लिए ट्राइडेंट एपीआई का उपयोग किया जाता है।
9) ट्राइडेंट एपीआई का उद्देश्य क्या है?
ट्राइडेंट, स्टॉर्म पर आधारित एक उच्च-स्तरीय एपीआई है जो निम्नलिखित सुविधाएँ प्रदान करता है:
- ठीक-एक बार सिमेंटिक्स
- लेनदेन प्रसंस्करण
- राज्य प्रबंधन
- सरलीकृत प्रोग्रामिंग मॉडल
यहtracयह स्टॉर्म के निचले स्तर के आंतरिक तंत्रों को सरल बनाता है, जिससे जटिल वर्कफ़्लो को लिखना और बनाए रखना आसान हो जाता है।
10) अपाचे स्टॉर्म में बैकप्रेशर की व्याख्या कीजिए।
बैकप्रेशर, टोपोलॉजी में टुपल्स के उत्सर्जन की दर को नियंत्रित करता है ताकि बफर ओवरफ्लो और संसाधनों की कमी को रोका जा सके, खासकर तब जब डाउनस्ट्रीम बोल्ट्स गति बनाए रखने में असमर्थ हों। स्टॉर्म, डेटा हानि या प्रदर्शन में गिरावट के बिना सुचारू थ्रूपुट बनाए रखने के लिए उत्सर्जन दरों को गतिशील रूप से समायोजित करता है।
11) स्टॉर्म की तुलना अपाचे से किस प्रकार की जा सकती है? Spark स्ट्रीमिंग?
स्टॉर्म डेटा को संसाधित करता है real time (निरंतर घटना प्रसंस्करण) कम विलंबता के साथ, जबकि Spark स्ट्रीमिंग काम करती है micro-batches (समय-समय पर डेटा की छोटी-छोटी विंडो को प्रोसेस करना)। स्टॉर्म सब-सेकंड प्रोसेसिंग की ज़रूरतों के लिए उपयुक्त है, जबकि Spark स्ट्रीमिंग उच्च-थ्रूपुट, माइक्रो-बैच विश्लेषण में उत्कृष्ट है।
12) अपाचे स्टॉर्म के सामान्य उपयोग के मामलों की सूची बनाएं।
स्टॉर्म का व्यापक रूप से उपयोग निम्नलिखित क्षेत्रों में किया जाता है:
- वास्तविक समय विश्लेषण और डैशबोर्ड
- धोखाधड़ी का पता लगाने की प्रणाली
- लॉग और इवेंट प्रोसेसिंग
- IoT सेंसर डेटा प्रोसेसिंग
- सोशल मीडिया एनालिटिक्स
यह उन परिदृश्यों के लिए उपयुक्त है जिनमें स्ट्रीमिंग इनपुट पर तत्काल जानकारी की आवश्यकता होती है।
13) टोपोलॉजी मैसेज टाइमआउट क्या है?
Topology_Message_Timeout_secs यह निर्धारित करता है कि किसी टपल को टोपोलॉजी द्वारा पूरी तरह से संसाधित करने के लिए अधिकतम कितना समय दिया जा सकता है, जिसके बाद उसे विफल मानकर पुनः चलाया जाता है। इससे लंबे या अटके हुए प्रोसेसिंग फ्लो में विश्वसनीयता बनाए रखने में मदद मिलती है।
14) अपाचे स्टॉर्म कैसा है? Cluster निगरानी की जा रही है?
तूफान प्रदान करता है Storm UI यह रीयल-टाइम क्लस्टर विज़ुअलाइज़ेशन (टोपोलॉजी, वर्कर, थ्रूपुट) के लिए है और मेट्रिक्स के लिए JMX, Prometheus और Grafana जैसे मॉनिटरिंग टूल के साथ एकीकृत होता है। tracराजा और चेतावनी।
15) स्टॉर्म में चिड़ियाघर के रखवाले की क्या भूमिका होती है?
ZooKeeper, Storm क्लस्टर के भीतर समन्वय और कॉन्फ़िगरेशन का प्रबंधन करता है, साथ ही वितरित लॉक, लीडर का चुनाव (Nimbus के लिए) और क्लस्टर स्थिति की स्थिरता बनाए रखता है। यह वितरित घटकों के सुदृढ़ प्रबंधन को सुनिश्चित करता है।
16) अपाचे स्टॉर्म स्केलेबिलिटी कैसे हासिल करता है?
अपाचे स्टॉर्म कई वर्कर नोड्स और टास्क में कंप्यूटेशन को वितरित करके क्षैतिज रूप से स्केल करता है। प्रत्येक टोपोलॉजी को एक विशिष्ट कॉन्फ़िगरेशन के साथ कॉन्फ़िगर किया जा सकता है। parallelism hintजो प्रति घटक निष्पादकों (थ्रेड्स) और कार्यों की संख्या निर्धारित करता है। स्टॉर्म का आर्किटेक्चर दोनों का समर्थन करता है। आनुपातिक दरों से बढ़ाएँ (थ्रेड जोड़ना) और स्केलिंग आउट (नोड्स जोड़ना)।
उदाहरण के लिए, यदि किसी बोल्ट की समानांतरता 8 है, तो स्टॉर्म उसके कार्यों को 8 एक्ज़ीक्यूटरों में वितरित करता है, जो संभवतः विभिन्न सुपरवाइज़रों में फैले होते हैं। स्केलिंग को बिना रुके कमांडों को पुनः संतुलित करके गतिशील रूप से प्रबंधित किया जाता है।ping स्थलाकृति।
17) अपाचे स्टॉर्म का उपयोग करने के क्या फायदे और नुकसान हैं?
| फायदे | नुकसान |
|---|---|
| रीयल-टाइम स्ट्रीम प्रोसेसिंग | कॉन्फ़िगर करना और रखरखाव करना जटिल है |
| उच्च थ्रूपुट और कम विलंबता | समन्वय के लिए चिड़ियाघर के रक्षक की आवश्यकता है |
| दोष-सहिष्णु और स्केलेबल | वितरित समस्याओं को डीबग करना चुनौतीपूर्ण हो सकता है। |
| कई भाषाओं का समर्थन करता है (Java, Python, आदि) | Less बैच या माइक्रो-बैच वर्कलोड के लिए कुशल |
| Kafka, Hadoop और HBase के साथ आसान एकीकरण | ट्राइडेंट एक्ज़ैक्टली-वन्स प्रोसेसिंग के लिए अतिरिक्त भार जोड़ता है। |
उत्तर का सारांश: स्टॉर्म रीयल-टाइम एनालिटिक्स के लिए आदर्श है, लेकिन फ्लिंक जैसे फ्रेमवर्क की तुलना में बैच वर्कलोड या अत्यधिक स्टेटफुल ऑपरेशंस के लिए अनुकूलित नहीं है। Spark संरचित स्ट्रीमिंग।
18) अपाचे स्टॉर्म में टपल के जीवनचक्र की व्याख्या कीजिए।
एक टपल का जीवनचक्र यहाँ से शुरू होता है: Spout और यह तब समाप्त होता है जब इसकी पूरी प्रक्रिया पूरी हो जाती है और इसे स्वीकार कर लिया जाता है।
- टपल निर्माण: एक स्पाउट एक टपल को पढ़ता है और उत्सर्जित करता है।
- स्ट्रीम रूटिंग: समूह के अनुसार टपल बोल्ट के माध्यम से यात्रा करता है।ping तर्क.
- प्रसंस्करण: प्रत्येक बोल्ट अपना लॉजिक निष्पादित करता है और नए टुपल्स उत्पन्न कर सकता है।
- स्वीकृति: जब सभी डाउनस्ट्रीम बोल्ट समाप्त हो जाते हैं, तो टपल को वापस स्पाउट को भेज दिया जाता है।
- विफलता से निपटने का तरीका: यदि कोई बोल्ट विफल हो जाता है, तो स्टॉर्म स्वचालित रूप से टपल को फिर से चलाता है।
यह जीवनचक्र अपनी अंतर्निहित विशेषताओं के माध्यम से विश्वसनीयता सुनिश्चित करता है। ack/fail mechanism.
19) विश्वसनीय और अविश्वसनीय टोंटी में क्या अंतर है?
| पहलू | विश्वसनीय टोंटी | अविश्वसनीय टोंटी |
|---|---|---|
| टपल tracराजा | Tracसंदेश आईडी के माध्यम से ks टुपल्स | नहीं करता track टुपल्स |
| पुनर्प्रयास | रिप्ले विफल टुपल्स | कोई पुनः प्रयास तंत्र नहीं |
| रसीद | स्वीकृति/विफलता संदेश प्राप्त करता है | कोई पावती नहीं |
| उदाहरण | वित्तीय लेनदेन, धोखाधड़ी का पता लगाना | लॉग एकत्रीकरण, निगरानी |
उदाहरण: KafkaSpout आमतौर पर विश्वसनीय होता है, जबकि एक साधारण syslog स्ट्रीम स्पाउट तेजी से डेटा इनपुट करने के लिए अविश्वसनीय हो सकता है।
20) आप अपाचे स्टॉर्म में डेटा की स्थिरता को कैसे संभालते हैं?
स्टॉर्म में डेटा की स्थिरता को निम्न तरीकों से बनाए रखा जा सकता है:
- ट्राइडेंट एपीआई का उपयोग करना एक्जेक्टली-वन्स प्रोसेसिंग सिमेंटिक्स के लिए।
- आइडेम्पोटेंट ऑपरेशन यह सुनिश्चित करने के लिए कि पुन: संसाधित टुपल्स के कारण दोहरा प्रभाव न पड़े।
- लेन-देन संबंधी स्प्राउट्स/बोल्ट स्टेटफुल कंप्यूटेशन के लिए।
- चेकपॉइंटिंग स्थिति Redis या जैसे बाहरी सिस्टम में Cassandra.
उदाहरण के लिए, काउंटर को अपडेट करते समय, बोल्ट को टपल रीप्ले के दौरान शुद्धता सुनिश्चित करने के लिए एटॉमिक ऑपरेशंस का उपयोग करना चाहिए।
21) स्टॉर्म टोपोलॉजी में प्रदर्शन संबंधी समस्याओं को आप कैसे डीबग या मॉनिटर करते हैं?
डीबगिंग में कई रणनीतियाँ शामिल होती हैं:
- स्टॉर्म यूआई: यह टोपोलॉजी मेट्रिक्स (विलंबता, टपल गणना, त्रुटियां) को दर्शाता है।
- कार्यकर्ता लॉग: लॉग की जाँच करें
/logs/workers-artifacts/अपवादों के लिए। - डिबग मोड सक्षम करें:
topology.debug=trueटपल फ्लो लॉग प्रिंट करता है। - प्रोफ़ाइल प्रदर्शन: जैसे मेट्रिक्स का उपयोग करें
execute-latencyऔरprocess-latency. - बाह्य निगरानी: प्रोमेथियस या ग्राफाना डैशबोर्ड को एकीकृत करें।
सक्रिय मीट्रिक निगरानी और कर्मचारी प्रोफाइलिंग से बाधाओं की पहचान जल्दी करने में मदद मिलती है।
22) अपाचे स्टॉर्म और अपाचे फ्लिंक के बीच मुख्य अंतर क्या हैं?
| प्राचल | अपाचे तूफान | अपाचे झपकी |
|---|---|---|
| प्रसंस्करण प्रकार | शुद्ध वास्तविक समय (एक समय में एक घटना) | रीयल-टाइम और बैच (एकीकृत) |
| राज्य प्रबंधन | बाह्य (ट्राइडेंट के माध्यम से) | अंतर्निर्मित, दोष-सहिष्णु |
| विलंब | उप-दूसरे | उप-दूसरे |
| उपयोग की आसानी | और अधिक जटिल | डेटास्ट्रीम एपीआई के साथ यह और भी आसान है। |
| ठीक एक बार की गारंटी | वैकल्पिक (ट्राइडेंट के माध्यम से) | मूल निवासी समर्थन |
| वापस दबाव | मैनुअल या डायनामिक | स्वचालित |
उत्तर का सारांश: जहां स्टॉर्म ने रीयल-टाइम प्रोसेसिंग में अग्रणी भूमिका निभाई, वहीं फ्लिंक एक अधिक एकीकृत स्टेट मैनेजमेंट मॉडल प्रदान करता है, जिससे यह जटिल, इवेंट-ड्रिवन पाइपलाइनों के लिए पसंदीदा विकल्प बन जाता है।
23) स्टॉर्म टोपोलॉजी मैप रिड्यूस जॉब से किस प्रकार भिन्न है?
एक मैप रिड्यूस जॉब असतत रूप में डेटा को संसाधित करता है। बैचोंजबकि स्टॉर्म टोपोलॉजी डेटा स्ट्रीम को प्रोसेस करती है लगातार.
- मानचित्र छोटा करना: सीमित इनपुट, एक बार चलता है, ऑफ़लाइन विश्लेषण के लिए उपयुक्त।
- तूफान: असीमित इनपुट, अनिश्चित काल तक चलता है, रीयल-टाइम एनालिटिक्स के लिए आदर्श।
संक्षेप में, स्टॉर्म हैडूप के बैच फ्रेमवर्क के "स्ट्रीमिंग पूरक" के रूप में कार्य करता है।
24) की अवधारणा को समझाइए Anchorअपाचे स्टॉर्म में इंग।
Anchoring एक उत्सर्जित टपल को उसके स्रोत टपल से जोड़ता है। यह स्टॉर्म को अनुमति देता है कि वह... tracत्रुटि निवारण के लिए टुपल्स की वंशावली। जब कोई बोल्ट एक नया टुपल उत्सर्जित करता है, तो वह इसे निम्न का उपयोग करके इनपुट टुपल से जोड़ सकता है:
collector.emit(inputTuple, newTuple);
यदि डाउनस्ट्रीम में कोई एंकर किया गया टपल विफल हो जाता है, तो स्टॉर्म मूल स्रोत टपल को पुनः चला सकता है, जिससे विश्वसनीय प्रसंस्करण सुनिश्चित होता है।
25) अपाचे स्टॉर्म के प्रदर्शन को बेहतर बनाने के लिए आपको किन कारकों पर विचार करना चाहिए?
प्रदर्शन को बेहतर बनाने में दोनों चीजों का अनुकूलन शामिल है। configuration और topology design:
- बढ़ना समानता (कार्यकारी, कार्यकर्ता)।
- समायोजित करें संदेश समय समाप्त (
topology.message.timeout.secs). - ऑप्टिमाइज़ करें क्रमबद्धता क्रायो या कस्टम सीरियलाइज़र का उपयोग करना।
- कम से कम नेटवर्क फेरबदल उपयुक्त समूह के साथping रणनीतियों.
- सक्षम वापस दबाव ताकि ओवरलोडिंग को रोका जा सके।
- मॉनिटर GC और हीप उपयोग मेमोरी संबंधी बाधाओं से बचने के लिए।
समानांतरता और हार्डवेयर क्षमता के बीच संतुलन इष्टतम थ्रूपुट और न्यूनतम विलंबता सुनिश्चित करता है।
26) ट्राइडेंट एपीआई क्या है, और यह अपाचे स्टॉर्म की क्षमताओं को कैसे बढ़ाता है?
RSI ट्राइडेंट एपीआई एक high-level abstraction layer स्टेटफुल स्ट्रीम प्रोसेसिंग को सरल बनाने के लिए डिज़ाइन किए गए Apache Storm के ऊपर निर्मित। कोर Storm के विपरीत, जो व्यक्तिगत टुपल्स पर काम करता है, Trident एक अलग स्तर पर काम करता है। टुपल्स के माइक्रो-बैचउपलब्ध कराने, ठीक-एक बार प्रसंस्करण सिमेंटिक्स.
यह एब्स का परिचय देता हैtracजैसे कि स्ट्रीम, बैच, तथा राज्य Operaमाहौल आसान एकत्रीकरण, फ़िल्टरिंग और संयोजन के लिए।
उदाहरण: ट्राइडेंट, टपल एक्नॉलेजमेंट या रीप्ले लॉजिक को मैन्युअल रूप से प्रबंधित किए बिना, प्रति मिनट उपयोगकर्ता क्लिक की गणना करने या मेट्रिक्स को एकत्रित करने के लिए कोड लिखने को सरल बनाता है।
संक्षेप में, ट्राइडेंट स्टॉर्म की निम्न-स्तरीय लचीलेपन और अन्य फ्रेमवर्क जैसे कि के बीच की खाई को पाटता है। Spark स्ट्रीमिंग की सरलता।
27) आप अपाचे स्टॉर्म को अपाचे काफ्का के साथ कैसे एकीकृत करते हैं?
Kafka और Storm के बीच एकीकरण निम्न विधि का उपयोग करके प्राप्त किया जाता है। काफ्कास्पाउट (उपभोक्ता) और वैकल्पिक रूप से एक काफ्काबोल्ट (निर्माता)।
सामान्य डेटा प्रवाह:
- KafkaSpout एक Kafka टॉपिक को सब्सक्राइब करता है और Storm टोपोलॉजी में टुपल्स उत्सर्जित करता है।
- बोल्ट्स डेटा को प्रोसेस और ट्रांसफॉर्म करते हैं।
- KafkaBolt परिणामों को किसी अन्य Kafka टॉपिक या बाहरी सिस्टम पर वापस लिखता है।
उदाहरण कॉन्फ़िगरेशन स्निपेट:
KafkaSpoutConfig<String, String> spoutConfig = KafkaSpoutConfig.builder("localhost:9092", "input-topic").build();
builder.setSpout("kafka-spout", new KafkaSpout<>(spoutConfig));
Kafka-Spout एकीकरण सुनिश्चित करता है दोष-सहिष्णु, स्केलेबल संदेश स्ट्रीमिंग प्रणालियों के बीच जैसे Sparkफ्लिंक या खुद स्टॉर्म।
28) अपाचे स्टॉर्म में स्टेट मैनेजमेंट रणनीतियाँ क्या हैं?
स्टॉर्म बोल्ट और स्पाउट्स में स्थिति को प्रबंधित करने के लिए कई रणनीतियों का समर्थन करता है:
| राज्य का प्रकार | विवरण | केस उदाहरण का प्रयोग करें |
|---|---|---|
| मेमोरी में स्थिति | तेज़ लेकिन अस्थिर | अस्थायी एकत्रीकरण |
| स्थायी अवस्था | बाह्य डेटाबेस में संग्रहीत (उदाहरण के लिए, रेडिस, Cassandra) | लेनदेन लॉग, काउंटर |
| लेनदेन संबंधी स्थिति | एक बार में सटीक एकरूपता सुनिश्चित करता है | वित्तीय लेन - देन |
| विभाजित अवस्था | कार्यों में स्थिति वितरित करता है | उच्च स्केलेबिलिटी पाइपलाइन |
ट्राइडेंट एपीआई इसे सरल बनाता है State और StateUpdater इंटरफेस, जिससे स्टेट ऑपरेशन अधिक विश्वसनीय और मॉड्यूलर बन जाते हैं।
29) स्टॉर्म के स्थानीय और के बीच अंतर स्पष्ट कीजिए। Cluster मोड।
- स्थानीय मोड: इसका उपयोग परीक्षण या विकास के लिए किया जाता है। यह एक ही JVM प्रक्रिया के भीतर Storm के सभी घटकों (Nimbus, Supervisor, Zookeeper) को चलाता है।
- Cluster विधि: उत्पादन के लिए उपयोग किया जाता है। निम्बस और सुपरवाइजर प्रक्रियाएं अलग-अलग नोड्स पर चलती हैं और इनका समन्वय ज़ूकीपर द्वारा किया जाता है।
| पहलू | स्थानीय प्रणाली | Cluster मोड |
|---|---|---|
| व्यवस्था | एकल मशीन | एकाधिक नोड्स |
| उद्देश्य | डीबगिंग, यूनिट टेस्टिंग | उत्पादन परिनियोजन |
| गति | भारी कार्यभार के लिए धीमा | प्रदर्शन के लिए अनुकूलित |
| दोष सहिष्णुता | न्यूनतम | हाई |
आप निम्न माध्यमों से क्लस्टर में टोपोलॉजी सबमिट कर सकते हैं:
storm jar mytopology.jar com.example.MyTopology
30) स्टॉर्म में डेटा स्रोतों (स्प्राउट्स) के विभिन्न प्रकार क्या हैं?
टोंटी को निम्नलिखित श्रेणियों में वर्गीकृत किया जा सकता है:
- विश्वसनीय टोंटी: संदेश आईडी का उपयोग करें track टपल अभिस्वीकृति।
- अविश्वसनीय टोंटी: टुपल्स को बिना उत्सर्जित करें tracकिंग (तेज़ लेकिन कम भरोसेमंद)।
- लेन-देन संबंधी स्प्राउट्स: ट्रांजैक्शनल बैचों में डेटा उत्सर्जित करें (ट्राइडेंट के साथ उपयोग किया जाता है)।
उदाहरण:
- KafkaSpout (विश्वसनीय)
- RabbitMQSpout (विश्वसनीय)
- RandomSpout या FileSpout (अविश्वसनीय)
प्रत्येक प्रकार का स्पाउट उत्पादन क्षमता और विश्वसनीयता के बीच विभिन्न संतुलनों के अनुरूप होता है।
🔍 वास्तविक परिस्थितियों और रणनीतिक प्रतिक्रियाओं के साथ अपाचे स्टॉर्म से संबंधित शीर्ष साक्षात्कार प्रश्न
1) अपाचे स्टॉर्म क्या है, और इसका आमतौर पर उपयोग कहाँ किया जाता है?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता अपाचे स्टॉर्म और इसके वास्तविक दुनिया के अनुप्रयोगों, विशेष रूप से वास्तविक समय डेटा प्रोसेसिंग वातावरण में, आपकी मूलभूत समझ का आकलन करना चाहता है।
उदाहरण उत्तर: “अपैची स्टॉर्म एक वितरित, दोष-सहिष्णु फ्रेमवर्क है जिसे रीयल-टाइम स्ट्रीम प्रोसेसिंग के लिए डिज़ाइन किया गया है। इसका उपयोग आमतौर पर रीयल-टाइम एनालिटिक्स, लॉग प्रोसेसिंग, इवेंट-ड्रिवन सिस्टम और निरंतर गणना जैसे परिदृश्यों में किया जाता है, जहां कम विलंबता और उच्च थ्रूपुट की आवश्यकता होती है।”
2) क्या आप अपाचे स्टॉर्म टोपोलॉजी के मुख्य घटकों को समझा सकते हैं?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता स्टॉर्म आर्किटेक्चर के बारे में आपके ज्ञान का परीक्षण कर रहा है और यह जांच रहा है कि क्या आप समझते हैं कि सिस्टम के माध्यम से डेटा कैसे प्रवाहित होता है।
उदाहरण उत्तर: “स्टॉर्म टोपोलॉजी में निर्देशित चक्रीय ग्राफ में जुड़े हुए स्पाउट्स और बोल्ट्स होते हैं। स्पाउट्स डेटा स्ट्रीम के स्रोत के रूप में कार्य करते हैं, जबकि बोल्ट्स डेटा को प्रोसेस, ट्रांसफॉर्म या एग्रीगेट करते हैं। यह टोपोलॉजी परिभाषित करती है कि डेटा कैसे प्रवाहित होता है और जब तक इसे रोका नहीं जाता तब तक निरंतर निष्पादित होता रहता है।”
3) अपाचे स्टॉर्म फॉल्ट टॉलरेंस कैसे सुनिश्चित करता है?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता वितरित प्रणालियों में विश्वसनीयता तंत्रों के बारे में आपकी समझ को समझना चाहता है।
उदाहरण उत्तर: “अपैची स्टॉर्म टपल एंकरिंग और एक्नॉलेजमेंट तंत्र के माध्यम से त्रुटि-सहिष्णुता सुनिश्चित करता है। यदि कोई टपल निर्दिष्ट समय सीमा के भीतर पूरी तरह से संसाधित नहीं हो पाता है, तो उसे पुनः चलाया जाता है। सुपरवाइज़र और निम्बस भी वर्कर विफलताओं की निगरानी करते हैं और आवश्यकता पड़ने पर कार्यों को स्वचालित रूप से पुनः आरंभ करते हैं।”
4) एक ऐसी स्थिति का वर्णन करें जहाँ आपने स्टॉर्म टोपोलॉजी के प्रदर्शन को अनुकूलित किया हो।
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता आपके व्यावहारिक अनुभव और सिस्टम की दक्षता में सुधार करने की आपकी क्षमता की तलाश कर रहा है।
उदाहरण उत्तर: “अपनी पिछली भूमिका में, मैंने पैरेललिज़्म हिंट्स को ट्यून करके और थ्रूपुट मेट्रिक्स के आधार पर वर्कर्स की संख्या को समायोजित करके एक स्टॉर्म टोपोलॉजी को ऑप्टिमाइज़ किया। मैंने बोल्ट्स के बीच अनावश्यक डेटा सीरियलाइज़ेशन को भी कम किया, जिससे प्रोसेसिंग लेटेंसी में काफी कमी आई।”
5) आप अपाचे स्टॉर्म में बैकप्रेशर को कैसे संभालते हैं?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता यह जानना चाहता है कि क्या आप स्ट्रीमिंग सिस्टम में फ्लो कंट्रोल को समझते हैं।
उदाहरण उत्तर: “अपनी पिछली नौकरी में, मैंने स्टॉर्म के अंतर्निहित बैकप्रेशर तंत्रों को सक्रिय करके और बफर आकारों को सावधानीपूर्वक कॉन्फ़िगर करके बैकप्रेशर को नियंत्रित किया। मैंने धीमी गति से खपत करने वाले बोल्टों की निगरानी भी की और अपस्ट्रीम भीड़ को रोकने के लिए उन्हें क्षैतिज रूप से स्केल किया।”
6) स्टॉर्म एप्लिकेशन को डीबग करते समय आपको किन चुनौतियों का सामना करना पड़ा है?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता जटिल वितरित वातावरणों में आपकी समस्या-समाधान कौशल और दृढ़ता का मूल्यांकन कर रहा है।
उदाहरण उत्तर: "डिस्ट्रिब्यूटेड एग्जीक्यूशन के कारण स्टॉर्म एप्लिकेशन को डीबग करना चुनौतीपूर्ण हो सकता है। अपनी पिछली नौकरी में, मैं स्टॉर्म यूआई, विस्तृत लॉगिंग और मेट्रिक कलेक्शन पर बहुत अधिक निर्भर था। tracटपल विफलताओं का विश्लेषण करें और कार्यकर्ताओं और निष्पादकों के बीच बाधाओं की पहचान करें।"
7) अपाचे स्टॉर्म की तुलना अन्य स्ट्रीम प्रोसेसिंग फ्रेमवर्क से किस प्रकार की जा सकती है?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता आपके व्यापक उद्योग ज्ञान और लाभ-हानि का मूल्यांकन करने की क्षमता को देखना चाहता है।
उदाहरण उत्तर: “अपैची स्टॉर्म कम विलंबता और इवेंट-दर-इवेंट प्रोसेसिंग में उत्कृष्ट है, जबकि अन्य फ्रेमवर्क माइक्रो-बैचिंग या एकीकृत बैच और स्ट्रीम प्रोसेसिंग पर अधिक ध्यान केंद्रित कर सकते हैं। स्टॉर्म को अक्सर तब चुना जाता है जब सटीक रीयल-टाइम प्रोसेसिंग और सरल प्रोसेसिंग मॉडल की आवश्यकता होती है।”
8) वास्तविक समय में धोखाधड़ी का पता लगाने के लिए आप स्टॉर्म टोपोलॉजी को कैसे डिजाइन करेंगे, इसका वर्णन करें।
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता वास्तविक दुनिया के परिदृश्यों में स्टॉर्म की अवधारणाओं को लागू करने की आपकी क्षमता का परीक्षण कर रहा है।
उदाहरण उत्तर: मैं लेन-देन संबंधी घटनाओं को वास्तविक समय में ग्रहण करने के लिए स्पाउट्स और सत्यापन, संवर्धन और नियम-आधारित विश्लेषण करने के लिए बोल्ट्स डिज़ाइन करूँगा। स्टेटफुल बोल्ट्स... tracसंदिग्ध पैटर्न की पहचान की जाएगी और निर्धारित सीमा पार होने पर तुरंत अलर्ट जारी किए जाएंगे।
9) आप अपाचे स्टॉर्म में कॉन्फ़िगरेशन और परिनियोजन का प्रबंधन कैसे करते हैं?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता आपके परिचालन और तैनाती संबंधी अनुभव के बारे में जानकारी प्राप्त करना चाहता है।
उदाहरण उत्तर: “अपनी पिछली भूमिका में, मैंने बाह्य YAML फ़ाइलों और पर्यावरण-विशिष्ट मापदंडों का उपयोग करके कॉन्फ़िगरेशन का प्रबंधन किया। स्क्रिप्ट के माध्यम से परिनियोजन स्वचालित थे, और विभिन्न वातावरणों में सुसंगत और दोहराने योग्य रिलीज़ सुनिश्चित करने के लिए टोपोलॉजी का संस्करण बनाया गया था।”
10) स्टॉर्म-आधारित सिस्टम में आप विश्वसनीयता और प्रदर्शन को कैसे प्राथमिकता देते हैं?
उम्मीदवार से अपेक्षित: साक्षात्कारकर्ता विभिन्न सिस्टम आवश्यकताओं के बीच संतुलन बनाए रखने के दौरान आपके निर्णय लेने के कौशल का आकलन कर रहा है।
उदाहरण उत्तर: “महत्वपूर्ण प्रणालियों के लिए, मैं विश्वसनीयता को सर्वोपरि मानता हूँ और इसके लिए स्वीकृति और पुनः प्रयास सक्षम करता हूँ, भले ही इससे कुछ विलंब हो। विश्वसनीयता सुनिश्चित हो जाने के बाद, मैं देखे गए मापदंडों के आधार पर समानांतरता समायोजन और संसाधन आवंटन के माध्यम से प्रदर्शन को धीरे-धीरे अनुकूलित करता हूँ।”
