बैकप्रोपेगेशन के बिना आगे-आगे सीखने को आगे बढ़ाना और बढ़ाना

किंगचुन गोंग और 2 अन्य लेखकों द्वारा लिखित एडेप्टिव स्पैटियल गुडनेस एनकोडिंग: एडवांसिंग एंड स्केलिंग फॉरवर्ड-फॉरवर्ड लर्निंग विदाउट बैकप्रॉपैगेशन शीर्षक वाले पेपर का एक पीडीएफ देखें।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:फॉरवर्ड-फॉरवर्ड (एफएफ) एल्गोरिदम बैकप्रॉपैगेशन (बीपी) के लिए एक आशाजनक विकल्प प्रदान करता है। हाल के एफएफ-आधारित एक्सटेंशन में प्रगति के बावजूद, जिन्होंने मूल एल्गोरिदम को बढ़ाया है और इसे कन्वेन्शनल न्यूरल नेटवर्क (सीएनएन) में अनुकूलित किया है, वे अक्सर सीमित प्रतिनिधित्व क्षमता और बड़े पैमाने पर डेटासेट में खराब स्केलेबिलिटी से पीड़ित होते हैं, मुख्य रूप से विस्फोटित चैनल आयाम के कारण। इस कार्य में, हम अनुकूली स्थानिक अच्छाई एन्कोडिंग (एएसजीई) का प्रस्ताव करते हैं, जो सीएनएन के लिए तैयार एक नया एफएफ-आधारित प्रशिक्षण ढांचा है। एएसजीई प्रत्येक परत पर स्थानिक रूप से जागरूक अच्छाई प्रतिनिधित्व की गणना करने के लिए फीचर मैप का लाभ उठाता है, जिससे परत-वार पर्यवेक्षण सक्षम होता है। महत्वपूर्ण रूप से, यह दृष्टिकोण वर्गीकरण जटिलता को चैनल आयाम से अलग करता है, जिससे चैनल विस्फोट के मुद्दे का समाधान होता है और अन्य बीपी विकल्पों की तुलना में प्रतिस्पर्धी प्रदर्शन प्राप्त होता है। एएसजीई कई बेंचमार्क में अन्य सभी एफएफ-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करता है, एमएनआईएसटी पर 99.65%, फैशनएमएनआईएसटी पर 93.41%, सीआईएफएआर-10 पर 90.62% और सीआईएफएआर-100 पर 65.42% की परीक्षण सटीकता प्रदान करता है। इसके अलावा, हम 51.58% और 75.23% की टॉप-1 और टॉप-5 सटीकता के साथ इमेजनेट पर एफएफ-आधारित प्रशिक्षण का पहला सफल अनुप्रयोग प्रस्तुत करते हैं। इसके अलावा, हम सटीकता, मापदंडों और मेमोरी उपयोग के बीच लचीले व्यापार-बंद को प्राप्त करने के लिए तीन भविष्यवाणी रणनीतियों का प्रस्ताव करते हैं, जो विभिन्न संसाधन बाधाओं के तहत तैनाती को सक्षम करते हैं।