शून्य-शॉट वर्गीकरण के लिए लेबल स्पेस रिडक्शन

फ्रॉम हेस्टैक टू नीडल: लेबल स्पेस रिडक्शन फॉर ज़ीरो-शॉट क्लासिफिकेशन, नाथन वंदेमोर्टेल और 3 अन्य लेखकों द्वारा लिखित पेपर का एक पीडीएफ देखें।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:हम लेबल स्पेस रिडक्शन (एलएसआर) प्रस्तुत करते हैं, जो बड़े भाषा मॉडल (एलएलएम) के शून्य-शॉट वर्गीकरण प्रदर्शन में सुधार के लिए एक उपन्यास विधि है। एलएसआर व्यवस्थित रूप से रैंकिंग और उम्मीदवार वर्गों को कम करके वर्गीकरण लेबल स्थान को परिष्कृत करता है, जिससे मॉडल सबसे प्रासंगिक विकल्पों पर ध्यान केंद्रित करने में सक्षम होता है। डेटा-संचालित मॉडल की सांख्यिकीय सीखने की क्षमताओं के साथ लेबल रहित डेटा का लाभ उठाकर, एलएसआर परीक्षण समय पर लेबल स्थान प्रतिनिधित्व को गतिशील रूप से अनुकूलित करता है। सात बेंचमार्क पर हमारे प्रयोग दर्शाते हैं कि एलएसआर मानक शून्य-शॉट वर्गीकरण बेसलाइन की तुलना में लामा-3.1-70बी के साथ मैक्रो-एफ1 स्कोर में औसतन 7.0% (14.2% तक) और क्लाउड-3.5-सॉनेट के साथ 3.3% (11.1% तक) सुधार करता है। एलएसआर के कम्प्यूटेशनल ओवरहेड को कम करने के लिए, जिसके लिए प्रत्येक पुनरावृत्ति पर एक अतिरिक्त एलएलएम कॉल की आवश्यकता होती है, हम मॉडल को एक संभाव्य क्लासिफायरियर में डिस्टिल करने का प्रस्ताव करते हैं, जिससे कुशल अनुमान लगाया जा सके।