एक सैडल प्वाइंट उपाय: गैर-उत्तल अनुकूलन में परिवर्तनीय उन्मूलन की शक्ति

arXiv:2511.01234v1 घोषणा प्रकार: नया सार: मशीन लर्निंग के लिए बड़े पैमाने पर गैर-उत्तल अनुकूलन में खराब स्थानीय मिनीमा के बजाय सैडल पॉइंट का प्रसार एक प्राथमिक बाधा माना जा रहा है। वेरिएबल प्रोजेक्शन (VarPro) जैसे वेरिएबल एलिमिनेशन एल्गोरिदम को लंबे समय से व्यवहार में बेहतर अभिसरण और मजबूती प्रदर्शित करने के लिए देखा गया है, फिर भी वे इन जटिल ऊर्जा परिदृश्यों को इतने प्रभावी ढंग से क्यों नेविगेट करते हैं इसकी एक सैद्धांतिक समझ मायावी बनी हुई है। इस कार्य में, हम मूल और संक्षिप्त फॉर्मूलेशन के अनुकूलन परिदृश्यों की तुलना करके एक कठोर ज्यामितीय स्पष्टीकरण प्रदान करते हैं। हेसियन जड़ता और शूर पूरक पर आधारित एक कठोर विश्लेषण के माध्यम से, हम यह साबित करते हैं कि परिवर्तनीय उन्मूलन मौलिक रूप से उद्देश्य फ़ंक्शन की महत्वपूर्ण बिंदु संरचना को दोबारा आकार देता है, जिससे पता चलता है कि कम परिदृश्य में स्थानीय मैक्सिमा मूल फॉर्मूलेशन में सैडल पॉइंट से बनाई जाती है और सीधे उससे मेल खाती है। हमारे निष्कर्षों को गैर-उत्तल मैट्रिक्स फैक्टराइजेशन की विहित समस्या पर चित्रित किया गया है, सीधे दो-पैरामीटर तंत्रिका नेटवर्क पर कल्पना की गई है, और अंत में गहरे अवशिष्ट नेटवर्क के प्रशिक्षण में मान्य किया गया है, जहां हमारा दृष्टिकोण स्थिरता और बेहतर मिनिमा के अभिसरण में नाटकीय सुधार लाता है। यह कार्य किसी मौजूदा पद्धति की व्याख्या करने से कहीं आगे जाता है; यह एक शक्तिशाली सिद्धांत के रूप में सैडल पॉइंट परिवर्तन के माध्यम से परिदृश्य सरलीकरण स्थापित करता है जो नई पीढ़ी के अधिक मजबूत और कुशल अनुकूलन एल्गोरिदम के डिजाइन का मार्गदर्शन कर सकता है।