[2509.19557] बड़े भाषा मॉडल-आधारित इकाई मिलान में आत्मविश्वास अंशांकन

आइरिस कामस्टीग और 5 अन्य लेखकों द्वारा लिखित कॉन्फिडेंस कैलिब्रेशन इन लार्ज लैंग्वेज मॉडल-बेस्ड एंटिटी मैचिंग नामक पेपर का एक पीडीएफ देखें।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:इस शोध का उद्देश्य इकाई मिलान में बड़े भाषा मॉडल और आत्मविश्वास अंशांकन के प्रतिच्छेदन का पता लगाना है। इस प्रयोजन के लिए, हम तापमान स्केलिंग, मोंटे कार्लो ड्रॉपआउट और एन्सेम्बल्स का उपयोग करके कैलिब्रेट किए गए विश्वासों के विरुद्ध एक इकाई मिलान कार्य के लिए बेसलाइन रॉबर्टा आत्मविश्वास की तुलना करने के लिए एक अनुभवजन्य अध्ययन करते हैं। हम एबीटी-बाय, डीबीएलपी-एसीएम, आईट्यून्स-अमेज़ॅन और कंपनी डेटासेट का उपयोग करते हैं। निष्कर्षों से संकेत मिलता है कि प्रस्तावित संशोधित RoBERTa मॉडल थोड़ा अति आत्मविश्वास प्रदर्शित करता है, जिसमें डेटासेट में अपेक्षित कैलिब्रेशन त्रुटि स्कोर 0.0043 से 0.0552 तक है। हमने पाया कि तापमान स्केलिंग का उपयोग करके इस अति आत्मविश्वास को कम किया जा सकता है, जिससे अपेक्षित अंशांकन त्रुटि स्कोर 23.83% तक कम हो सकता है।