अपाचे स्पार्क में बड़े पैमाने पर नेटवर्क एम्बेडिंग

arXiv:2106.10620v1 घोषणा प्रकार: क्रॉस सार: नेटवर्क एम्बेडिंग का व्यापक रूप से सामाजिक अनुशंसा और नेटवर्क विश्लेषण में उपयोग किया गया है, जैसे अनुशंसा प्रणाली और ग्राफ़ के साथ विसंगति का पता लगाना। हालाँकि, पिछले अधिकांश दृष्टिकोण बड़े ग्राफ़ को कुशलता से संभाल नहीं सकते हैं, इसके कारण (i) ग्राफ़ पर गणना अक्सर महंगी होती है और (ii) ग्राफ़ का आकार या वैक्टर के मध्यवर्ती परिणाम निषेधात्मक रूप से बड़े हो सकते हैं, जिससे इसे एक मशीन पर संसाधित करना मुश्किल हो जाता है। इस पेपर में, हम अपाचे स्पार्क का उपयोग करके बड़े ग्राफ़ पर नेटवर्क एम्बेडिंग के लिए एक कुशल और प्रभावी वितरित एल्गोरिदम का प्रस्ताव करते हैं, जो नोड्स की आंतरिक और बाहरी संरचनात्मक जानकारी को पकड़ने के लिए एक ग्राफ को कई छोटे आकार के सबग्राफ में पुनरावर्ती रूप से विभाजित करता है, और फिर समानांतर में प्रत्येक सबग्राफ के लिए नेटवर्क एम्बेडिंग की गणना करता है। अंत में, सभी सबग्राफ पर आउटपुट को एकत्रित करके, हम एक रैखिक लागत में नोड्स की एम्बेडिंग प्राप्त करते हैं। उसके बाद, हमने विभिन्न प्रयोगों में प्रदर्शित किया कि हमारा प्रस्तावित दृष्टिकोण कुछ घंटों के भीतर अरबों किनारों वाले ग्राफ़ को संभालने में सक्षम है और अत्याधुनिक दृष्टिकोण से कम से कम 4 गुना तेज़ है। इसके अलावा, यह लिंक भविष्यवाणी और नोड वर्गीकरण कार्यों पर क्रमशः $4.25\%$ और $4.27\%$ तक सुधार प्राप्त करता है। अंत में, हम मित्र अनुशंसा और आइटम अनुशंसा के अनुप्रयोगों के साथ Tencent के दो ऑनलाइन गेम में प्रस्तावित एल्गोरिदम को तैनात करते हैं, जो प्रतियोगियों को रनिंग टाइम में $91.11\%$ तक और संबंधित मूल्यांकन मेट्रिक्स में $12.80\%$ तक बेहतर बनाता है।