शोर लेबल के साथ फ़ेडरेटेड लर्निंग के लिए वैश्विक पुनरीक्षक

युक्सिन तियान और 7 अन्य लेखकों द्वारा लिखित लर्निंग लोकलली, रिवाइजिंग ग्लोबली: ग्लोबल रिवाइजर फॉर फेडरेटेड लर्निंग विद नॉइजी लेबल्स शीर्षक वाले पेपर का एक पीडीएफ देखें।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:कॉन्वेंटियोएनल फ़ेडरेटेड लर्निंग (एफएल) काफी हद तक उच्च-गुणवत्ता वाले लेबल पर निर्भर करता है, जो अक्सर वास्तविक दुनिया में अव्यावहारिक होते हैं, जिससे फ़ेडरेटेड लेबल-शोर (एफ-एलएन) समस्या पैदा होती है। इससे भी बुरी बात यह है कि एफ-एलएन समस्या एफएल की विविधता से बढ़ जाती है, जबकि ग्राहकों को विभिन्न लेबल शोर प्रकार, अनुपात और डेटा वितरण का अनुभव होता है। इस अध्ययन में, हमने सबसे पहले एक दिलचस्प घटना देखी कि एफएल का वैश्विक मॉडल शोर वाले लेबलों को धीमी गति से याद रखने का प्रदर्शन करता है, जो एफएल में विश्वसनीय भविष्यवाणियों और मजबूत प्रतिनिधित्व को बनाए रखने की क्षमता का सुझाव देता है। इससे प्रेरित होकर, हम फ़ेडरेटेड ग्लोबल रिवाइज़र (FedGR) नामक एक नई विधि का प्रस्ताव करते हैं, जो एक सीधी लेकिन प्रभावी विधि है जिसमें तीन मॉड्यूल शामिल हैं जो सहयोगात्मक रूप से शोर लेबल को सुधारते हैं और स्थानीय प्रशिक्षण को नियमित करते हैं। उपरोक्त अंतर्निहित संपत्ति का दोहन करके, फेडजीआर स्व-निहित तरीके से एफएल की लेबल-शोर मजबूती में सुधार करता है। तीन व्यापक रूप से उपयोग किए जाने वाले एफ-एलएन बेंचमार्क पर व्यापक प्रयोग फेडजीआर के बेहतर प्रदर्शन को प्रदर्शित करते हैं, जो गंभीर लेबल-शोर और डेटा विविधता में भी लगातार सात अत्याधुनिक बेसलाइनों से बेहतर प्रदर्शन करते हैं। कोड यथाशीघ्र जारी किया जाएगा.