सन्दर्भ:
: हाल ही में, शोधकर्ताओं ने चेतावनी दी थी कि AI चैटबॉट इंडायरेक्ट प्रॉम्प्ट इंजेक्शन (अप्रत्यक्ष त्वरित इंजेक्शन) हमलों के प्रति संवेदनशील हैं।
इंडायरेक्ट प्रॉम्प्ट इंजेक्शन के बारें में:
: यह एक ऐसी तकनीक है जो चैटबॉट को दुर्भावनापूर्ण आदेशों को निष्पादित करने में हेरफेर करती है।
: यह बड़े भाषा मॉडल (LLM) की अंतर्निहित प्रकृति का शोषण करता है ताकि वे जिस सामग्री को संसाधित करते हैं, उसमें अंतर्निहित निर्देशों का पालन करें।
: दुर्भावनापूर्ण निर्देशों को सौम्य दस्तावेजों या ईमेल के भीतर एम्बेड करके, हमलावर चैटबॉट को अनधिकृत क्रियाएं करने के लिए प्रेरित कर सकते हैं, जैसे कि संवेदनशील जानकारी की खोज करना या दीर्घकालिक मेमोरी सेटिंग्स को बदलना।
: प्रत्यक्ष प्रॉम्प्ट इंजेक्शन के विपरीत, इसके लिए GenAI सिस्टम तक सीधे पहुँच की आवश्यकता नहीं होती है, इसके बजाय यह उन डेटा स्रोतों की श्रेणी में जोखिम प्रस्तुत करता है जिनका उपयोग GenAI सिस्टम संदर्भ प्रदान करने के लिए किया गया है।