[2603.07131] डोमेन-विशिष्ट ज्ञान के साथ रेटिनल वीएलएम की एंकरिंग के लिए डीप एक्सपर्ट इंजेक्शन

शुआई लू और 8 अन्य लेखकों द्वारा डोमेन-विशिष्ट ज्ञान के साथ रेटिनल वीएलएम की एंकरिंग के लिए डीप एक्सपर्ट इंजेक्शन नामक पेपर का एक पीडीएफ देखें।

पीडीएफ देखें
HTML (प्रयोगात्मक)

अमूर्त:बड़े विज़न लैंग्वेज मॉडल (एलवीएलएम) स्वचालित नेत्र निदान के लिए अपार संभावनाएं दिखाते हैं। हालाँकि, डोमेन-विशिष्ट ज्ञान की कमी के कारण उनकी नैदानिक ​​तैनाती गंभीर रूप से बाधित है। इस कार्य में, हम विश्वसनीय चिकित्सा तर्क में बाधा डालने वाली दो संरचनात्मक कमियों की पहचान करते हैं: 1) परसेप्शन गैप, जहां सामान्य-उद्देश्य दृश्य एनकोडर सूक्ष्म रोग संबंधी संकेतों (उदाहरण के लिए, माइक्रोएन्यूरिज्म) को हल करने में विफल होते हैं; और 2) रीज़निंग गैप, जहां गहरे ट्रांसफार्मर परतों में बड़े पैमाने पर भाषा के पुजारियों द्वारा विरल दृश्य साक्ष्य को उत्तरोत्तर ओवरराइड किया जाता है, जिससे आधारहीन मतिभ्रम होता है। इन अंतरालों को पाटने के लिए, हम EyExIn का प्रस्ताव करते हैं, जो एक डेटा-कुशल ढांचा है जो डीप एक्सपर्ट इंजेक्शन तंत्र के माध्यम से विशेषज्ञ ज्ञान के साथ रेटिनल वीएलएम को एंकर करने के लिए डिज़ाइन किया गया है। हमारा आर्किटेक्चर एक एक्सपर्ट-अवेयर डुअल-स्ट्रीम एन्कोडिंग रणनीति को नियोजित करता है जो दृश्य प्रतिनिधित्व को शारीरिक संदर्भ के लिए एक सामान्य स्ट्रीम और पैथोलॉजिकल शब्दार्थ के लिए एक विशेष विशेषज्ञ स्ट्रीम में विभाजित करता है। उच्च-निष्ठा एकीकरण सुनिश्चित करने के लिए, हम एक सिमेंटिक-एडेप्टिव गेटेड फ़्यूज़न मॉड्यूल डिज़ाइन करते हैं, जो अप्रासंगिक पृष्ठभूमि शोर को फ़िल्टर करते हुए सूक्ष्म घाव संकेतों को गतिशील रूप से बढ़ाता है। इसके अलावा, हम फ़्यूज्ड विज़ुअल सुविधाओं को अवशिष्ट पूर्वाग्रहों के रूप में सीधे मध्यवर्ती एलएलएम परतों में एकीकृत करके लगातार “विज़न एंकर” को एम्बेड करने के लिए एडेप्टिव डीप एक्सपर्ट इंजेक्शन पेश करते हैं। यह तंत्र एक दृश्य शॉर्टकट बनाता है जो तर्क स्टैक को दृश्य साक्ष्य पर सख्ती से आधारित रहने के लिए मजबूर करता है। चार बेंचमार्क पर व्यापक प्रयोगों से पता चलता है कि हमारा मॉडल लगातार बड़े स्वामित्व वाले सिस्टम से बेहतर प्रदर्शन करता है। EyExIn डोमेन-विशिष्ट ज्ञान एम्बेडिंग को महत्वपूर्ण रूप से बढ़ाता है और भरोसेमंद नेत्र संबंधी एआई के विकास को आगे बढ़ाते हुए नेत्र दृश्य प्रश्न उत्तर में अत्याधुनिक सटीकता प्राप्त करता है।