0DIN ओपन-सोर्सिंग AI सुरक्षा और इसके पीछे कड़ी मेहनत से अर्जित ज्ञान है

हम इस सप्ताह डेवलपर और सुरक्षा समुदाय में लॉन्च कर रहे हैं उत्पाद शिकार और हैकर समाचार. यदि आप एआई सुरक्षा का पालन कर रहे हैं, तो हमें आपका समर्थन और आपकी प्रतिक्रिया पसंद आएगी।

मोज़िला में, खुला स्रोत कभी भी केवल लाइसेंसिंग विकल्प नहीं रहा है। यह एक दृढ़ विश्वास है: जब उपकरण और ज्ञान स्वतंत्र रूप से प्रसारित होते हैं, तो इंटरनेट स्वस्थ हो जाता है, जब कोई भी चल रहा है उसका ऑडिट कर सकता है, जो मौजूद है उसका विस्तार कर सकता है, और जो पहले आया था उस पर निर्माण कर सकता है। इसीलिए हमने फ़ायरफ़ॉक्स को खुले में बनाया। यही कारण है कि हमने तब से इसी तरह निर्माण करना जारी रखा है।

0DIN, मोज़िला की AI सुरक्षा टीम, उसी परिसर से काम कर रही है। इस सप्ताह हम अपाचे 2.0 लाइसेंस के तहत ओपन सोर्स सॉफ़्टवेयर के रूप में 0DIN AI सुरक्षा स्कैनर जारी कर रहे हैं, साथ ही 35 भेद्यता परिवारों को कवर करने वाले 179 सामुदायिक जांच के साथ-साथ हमारी बग बाउंटी लाइब्रेरी से विशेष रूप से तैयार की गई छह विशेष जांच भी जारी कर रहे हैं।

स्कैनर, और उसके पीछे की खुफिया जानकारी

0DIN स्कैनर पाठ्यपुस्तक के उदाहरणों से निर्मित कोई अन्य बेंचमार्क सुइट नहीं है। हम इसे सीधे हमारे द्वारा ली गई जांच से जोड़ रहे हैं बग बाउंटी प्रोग्रामजहां सुरक्षा शोधकर्ता एआई सिस्टम में हेरफेर करने, डेटा निकालने और उसे नष्ट करने के लिए नई तकनीक खोजने के लिए प्रतिस्पर्धा करते हैं। जैसे-जैसे उस प्रोग्राम के माध्यम से नई कमजोरियाँ खोजी और प्रकट की जाएंगी, हम समय के साथ ओपन-सोर्स लाइब्रेरी में जांच जोड़ना जारी रखेंगे।

वह लूप, शोधकर्ता की खोज से लेकर पैकेज्ड पुन: प्रयोज्य परीक्षण तक, 0DIN स्कैनर को जेनेरिक टूलींग से अलग करता है। यह जेलब्रेक पर उच्च प्रभाव वाली खुफिया जानकारी है, जिसे बार-बार अपडेट किया जाता है क्योंकि हमारे शोधकर्ता नई तकनीकें खोजते हैं।

NVIDIA के GARAK ओपन-सोर्स फ्रेमवर्क पर निर्मित, 0DIN स्कैनर एक ग्राफिकल इंटरफ़ेस, स्वचालित स्कैन शेड्यूलिंग, क्रॉस-मॉडल तुलनात्मक विश्लेषण और एंटरप्राइज़-ग्रेड रिपोर्टिंग जोड़ता है। यह फ्रंटियर मॉडल, ओपन सोर्स एलएलएम, चैटबॉट और त्वरित इंटरफ़ेस वाली किसी भी चीज़ के विरुद्ध चलता है। सुरक्षा दल हमले की सफलता दर, भेद्यता टूटना और सीमांत मॉडलों के साथ तुलना देख सकते हैं जिनकी हमलावर हर दिन जांच भी कर रहे हैं।

उनमें से छह बग बाउंटी जांचों को पहली बार यहां नामित किया गया है: प्लेसहोल्डर इंजेक्शन, इंक्रीमेंटल टेबल कंप्लीशन, टेक्निकल फील्ड गाइड, केमिकल कंपाइलर डिबग, करेक्शन और हेक्स रेसिपी बुक। प्रत्येक एक वास्तविक तकनीक का प्रतिनिधित्व करता है जो लूप बंद करने से पहले उत्पादन एआई सिस्टम के खिलाफ काम करती थी।

इन जांचों का उपयोग करके स्कोर किया जाता है जेईएफ (जेलब्रेक इवैल्यूएशन फ्रेमवर्क), हमारी ओपन-सोर्स लाइब्रेरी निषिद्ध सामग्री आउटपुट को मापने के लिए, जिसमें इस सप्ताह प्रमुख अपडेट भी देखने को मिल रहे हैं।

कोड पर है github.com/0din-ai/ai-scanner. इसे फोर्क करें, इसका विस्तार करें, इस पर निर्माण करें।

हमलावरों से पहले अपने जोखिम को जानना

प्रत्येक संगठन के पास प्रतिकूल परीक्षण चलाने के लिए रेड टीम या बैंडविड्थ नहीं है। कई कंपनियाँ इस समय उत्पादन में एआई को तैनात कर रही हैं, बिना इस बात की स्पष्ट तस्वीर के कि वे कहाँ उजागर हैं। उस अंतर को पाटने में मदद के लिए, हम एंटरप्राइज़ AI परिनियोजन के लिए निःशुल्क सुरक्षा मूल्यांकन की पेशकश कर रहे हैं।

मूल्यांकन आपके सिस्टम के विरुद्ध हमले की सफलता दर, त्वरित इंजेक्शन, जेलब्रेक और डेटा निष्कर्षण श्रेणियों में विश्लेषण और प्रमुख फ्रंटियर मॉडल के विरुद्ध एक बेंचमार्क तुलना प्रदान करता है। प्रक्रिया को सेटअप होने में कुछ मिनट लगते हैं और स्कैन की अवधि चुनी गई जांचों की संख्या के आधार पर अलग-अलग होती है। यदि आप एआई को सक्रिय रूप से तैनात कर रहे हैं और प्रतिकूल परिस्थितियों में इसका परीक्षण नहीं किया है, तो यह शुरुआत करने के लिए एक अच्छी जगह है।

उन टीमों के लिए जो स्वयं ओपन सोर्स स्कैनर का प्रबंधन नहीं करना चाहते हैं, हम बग बाउंटी प्रोग्राम से लगभग 500 पूर्व-प्रकटीकरण जांच तक पहुंच के साथ एक प्रबंधित एंटरप्राइज़ संस्करण भी प्रदान करते हैं, जिससे संगठनों को सार्वजनिक रूप से ज्ञात होने से पहले उभरती तकनीकों की अग्रिम सूचना मिलती है।

खुला स्रोत क्यों, और अभी क्यों

एआई इतनी तेजी से आगे बढ़ रहा है कि कोई भी टीम अकेले इसे हल नहीं कर पाएगी। बहुत सारे खतरे हैं, बहुत सारे मॉडल हैं, बहुत ज्यादा हमले की सतह है। हमारे टूल्स को बंद रखने से 0DIN थोड़ा मजबूत हो जाएगा जबकि व्यापक इंटरनेट कमजोर हो जाएगा।

हमारे बग बाउंटी कार्यक्रम के माध्यम से निष्कर्ष प्रस्तुत करने वाले शोधकर्ताओं ने अपने काम के लिए इनाम अर्जित किया। हम उस खुफिया जानकारी के एक सार्थक हिस्से को खुले स्रोत के रूप में जारी कर रहे हैं और हम ऐसा करना जारी रखेंगे क्योंकि नई कमजोरियां खोजी और प्रकट की जाएंगी। मोज़िला ने हमेशा यही सौदा पेश किया है: हम खुले में निर्माण करते हैं, समुदाय इसे बेहतर बनाने में मदद करता है, और वेब इसके लिए थोड़ा स्वस्थ हो जाता है।

उलझना