कोड आरएल के लिए जीरो-शॉट क्रॉस-प्रोग्रामिंग-लैंग्वेज ट्रांसफर में सुधार

झाओफेंग वू और 7 अन्य लेखकों द्वारा लिखे गए पैरेलल-एसएफटी: इम्प्रूविंग जीरो-शॉट क्रॉस-प्रोग्रामिंग-लैंग्वेज ट्रांसफर फॉर कोड आरएल नामक पेपर का एक पीडीएफ देखें।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:आधुनिक भाषा मॉडल सामान्य प्रोग्रामिंग भाषाओं (पीएल) जैसे सी++ और पायथन में प्रभावशाली कोडिंग क्षमताओं का प्रदर्शन करते हैं, लेकिन कम संसाधन वाले पीएल में उनका प्रदर्शन अक्सर प्रशिक्षण डेटा उपलब्धता द्वारा सीमित होता है। सिद्धांत रूप में, हालांकि, अधिकांश प्रोग्रामिंग कौशल पीएल में सार्वभौमिक हैं, इसलिए एक पीएल में हासिल की गई क्षमता दूसरों को हस्तांतरित होनी चाहिए। इस कार्य में, हम कोड आरएल के लिए शून्य-शॉट क्रॉस-प्रोग्रामिंग-भाषा स्थानांतरण का कार्य प्रस्तावित करते हैं। हमने पाया कि, लामा-3.1 के लिए, स्रोत पीएल में कोड जनरेशन के लिए आरएल प्रशिक्षण अन्य लक्ष्य पीएल पर प्रदर्शन में सुधार करने में विफल रहता है, और कभी-कभी गिरावट भी करता है। इसे संबोधित करने के लिए, हम परिकल्पना करते हैं कि प्रभावी आरएल स्थानांतरण के लिए आरएल से पहले एक सामान्यीकृत एसएफटी आरंभीकरण की आवश्यकता होती है। इस प्रकार हम **समानांतर-एसएफटी** का प्रस्ताव करते हैं, एक एसएफटी रणनीति जो डेटा मिश्रण में “समानांतर प्रोग्राम” – एकाधिक पीएल में कार्यान्वित कार्यात्मक रूप से समतुल्य कोड – को शामिल करती है। हम प्रदर्शित करते हैं कि इससे हस्तांतरणीयता में सुधार होता है: जब हम बाद में अपने समानांतर-एसएफटी मॉडल पर आरएल निष्पादित करते हैं, तो हम अनदेखी पीएल के लिए बेहतर सामान्यीकरण देखते हैं। मॉडल के आंतरिक अभ्यावेदन के विश्लेषण से पता चलता है कि पैरेलल-एसएफटी एक अधिक कार्यक्षमता-केंद्रित अव्यक्त स्थान की ओर ले जाता है, जहां पीएल में समतुल्य कार्यक्रम अधिक कसकर क्लस्टर किए जाते हैं, जिसे हम बेहतर हस्तांतरणीयता में योगदान करने के लिए परिकल्पित करते हैं।