तथ्यात्मक ज्ञान स्मरण पर परिमाणीकरण के प्रभाव की जांच

थ्रू ए कंप्रेस्ड लेंस: इन्वेस्टिगेटिंग द इम्पैक्ट ऑफ क्वांटाइजेशन ऑन फैक्चुअल नॉलेज रिकॉल शीर्षक वाले पेपर का एक पीडीएफ देखें, जिसे कियानली वांग और 7 अन्य लेखकों ने लिखा है।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:अनुमान में तेजी लाने और बड़े भाषा मॉडल (एलएलएम) की तैनाती को सुव्यवस्थित करने के लिए परिमाणीकरण विधियों का व्यापक रूप से उपयोग किया जाता है। यद्यपि विभिन्न एलएलएम क्षमताओं पर परिमाणीकरण के प्रभावों का बड़े पैमाने पर अध्ययन किया गया है, एक महत्वपूर्ण क्षेत्र अभी भी अज्ञात है: तथ्यात्मक ज्ञान स्मरण (एफकेआर), वह प्रक्रिया जिसके द्वारा एलएलएम संग्रहीत ज्ञान तक पहुंचते हैं। इस प्रयोजन के लिए, हम दो कार्यों, ज्ञान स्मरण और अव्यक्त मल्टी-हॉप तर्क पर व्याख्या-संचालित विश्लेषण के संयोजन में, अलग-अलग बिट चौड़ाई पर तीन सामान्य परिमाणीकरण तकनीकों का उपयोग करके व्यापक प्रयोग करते हैं। हम दिखाते हैं कि परिमाणीकरण के परिणामस्वरूप आम तौर पर एलएलएम के भीतर सूचना हानि होती है, जिसके परिणामस्वरूप एफकेआर के लिए उनकी क्षमता कम हो जाती है। यह प्रभाव विशेष रूप से समान वास्तुशिल्प परिवारों के भीतर छोटे मॉडलों में बढ़ाया जाता है। हालाँकि, कम बिट परिशुद्धता पर परिमाणित मॉडल लगातार निम्न प्रदर्शन प्रदर्शित नहीं करते हैं और कभी-कभी परिमाणीकरण मॉडल एफकेआर को भी बढ़ा सकता है। हमने पाया कि BitSandBytes मूल पूर्ण-सटीक मॉडल के FKR के उच्चतम संरक्षण को प्रदर्शित करता है। मॉडलों और विधियों में परिवर्तनशीलता के बावजूद, परिमाणीकरण मामूली प्रदर्शन गिरावट का कारण बनता है और एक प्रभावी संपीड़न रणनीति बनी हुई है।