वह सब जो चमकता है सोना नहीं है: संदर्भ-मुक्त प्रतितथ्यात्मक वित्तीय गलत सूचना का पता लगाने के लिए एक बेंचमार्क

arXiv:2601.04160v1 घोषणा प्रकार: नया सार: हम आरएफसी बेंच पेश करते हैं, जो यथार्थवादी समाचार के तहत वित्तीय गलत सूचना पर बड़े भाषा मॉडल के मूल्यांकन के लिए एक बेंचमार्क है। आरएफसी बेंच पैराग्राफ स्तर पर काम करती है और वित्तीय समाचारों की प्रासंगिक जटिलता को पकड़ती है जहां बिखरे हुए संकेतों से अर्थ निकलता है। बेंचमार्क दो पूरक कार्यों को परिभाषित करता है: युग्मित मूल विकृत इनपुट का उपयोग करके संदर्भ मुक्त गलत सूचना का पता लगाना और तुलना आधारित निदान। प्रयोगों से एक सुसंगत पैटर्न का पता चलता है: तुलनात्मक संदर्भ उपलब्ध होने पर प्रदर्शन काफी मजबूत होता है, जबकि संदर्भ मुक्त सेटिंग्स अस्थिर भविष्यवाणियों और उन्नत अमान्य आउटपुट सहित महत्वपूर्ण कमजोरियों को उजागर करती हैं। इन परिणामों से संकेत मिलता है कि मौजूदा मॉडल बाहरी आधार के बिना सुसंगत विश्वास की स्थिति को बनाए रखने के लिए संघर्ष करते हैं। इस अंतर को उजागर करके, आरएफसी बेंच संदर्भ मुक्त तर्क का अध्ययन करने और वास्तविक दुनिया सेटिंग्स में अधिक विश्वसनीय वित्तीय गलत सूचना का पता लगाने के लिए एक संरचित परीक्षण प्रदान करता है।