prompt injection nədir? AI agentləri üçün təhlükəsizlik

prompt injection nədir sualının qısa cavabı belədir: modelə verilən mətnin və ya oxutdurulan materialın onun davranışını nəzərdə tutulmayan istiqamətə dəyişməsidir. Hücum zamanı sənəddəki məlumat təlimat kimi qəbul oluna, cavab dəyişdirilə və agentin səlahiyyətlərindən sui-istifadə edilə bilər; buna görə qorunma həm modelin davranışını, həm də tətbiqin icazələrini əhatə etməlidir. OWASP izahı

Biznes rəhbəri üçün başlanğıc sualını konkretləşdirin: agent səhv istiqamətə yönəldilsə, hansı məlumatı görə və hansı əməliyyatı edə bilər? Aşağıdakı yoxlamanı məhz bu iki suala bağlayın. Komandadan təhlükəsizlik barədə ümumi vəd əvəzinə icazələrin siyahısını və işləyən nəzarət nümunəsini istəyin.

Prompt injection hücumu necə baş verir?

Əsas sərhəd məlumatla göstəriş arasındadır. İstifadəçi sənədi xülasə etməyi istəyir, sənədin müəllifi isə həmin materiala agentin vəzifəsini dəyişən göstəriş yerləşdirir. Model bunu səlahiyyətli təlimat kimi qəbul edərsə, istifadəçinin tapşırığından yayına bilər. Microsoft mexanizmi belə təsvir edir.

Terminləri gündəlik işə bağlayaq

LLM böyük dil modelidir; burada mətn əsasında cavab hazırlayan model nəzərdə tutulur. AI agenti isə modeldən istifadə edərək alətlərlə əməliyyat aparan sistem kimi düşünülə bilər. Brauzer agentinə səhifə açmaq, forma doldurmaq və düymə basmaq kimi imkanlar verilə bilər. Anthropic-in agent izahı

Prompt injection üçün mətnin istifadəçiyə görünməsi şərt deyil. Modelin emal etdiyi gizli mətn və ya şəkilə yerləşdirilmiş göstəriş də davranışa təsir edə bilər. Buna görə ekran görüntüsünə baxıb sənədi təhlükəsiz elan etməyin. OWASP multimodal riski də qeyd edir.

Texniki müzakirədən əvvəl promptun nə olduğunu dəqiqləşdirin. Sonra komanda ilə üç ayrı anlayış işlədin: istifadəçinin tapşırığı, təhlil edilən material və sistemin icazəsi. Təhlükəsizlik icmalında bunların hər biri üçün ayrıca məsul şəxs göstərin.

Birbaşa və dolayı prompt injection arasında fərq nədir?

Birbaşa hücum modelə göndərilən sorğudan başlayır. Dolayı prompt injection isə modelin oxuduğu səhifə, sənəd, e-poçt və ya başqa xarici material vasitəsilə daxil olur. Fərq hücum göstərişinin sistemə çatdığı yoldadır. Microsoft-un təsnifatı

Cədvəldəki nümunələr izah məqsədi daşıyır. Onları şirkətinizdə olmuş hadisə kimi təqdim etməyin; öz test materialınızı real müştəri məlumatı olmadan hazırlayın.

Jailbreak ayrıca nəyi bildirir?

OWASP jailbreak anlayışını modelin təhlükəsizlik qaydalarını kənara qoymasına yönələn prompt injection forması kimi izah edir. Praktik təhlildə məqsədi ayrıca qeyd edin: hücum təhlükəsizlik məhdudiyyətini aşmağa, cavabı dəyişməyə, yoxsa icazəsiz əməliyyata yönəlib? Terminlərin OWASP izahı

AI brauzerlər və agentlər niyə daha çox risk daşıyır?

Brauzer agenti həm etibar edilməyən məzmunla qarşılaşır, həm də müxtəlif əməliyyatlar edə bilir. Anthropic riskin bu iki tərəfini vurğulayır: geniş məzmun sahəsi və səhifələr arasında keçid, forma doldurma, fayl yükləmə kimi fəaliyyət imkanları. Brauzer risklərinin izahı

Şirkətiniz üçün hər imkanın qarşısına iş ehtiyacını yazın. Rəqib qiymətlərini oxuyan agentə müştəri bazasına giriş niyə lazımdır? Məktub qaralaması hazırlayan agentə göndərmə səlahiyyəti verməyi ayrıca əsaslandırın. Bu sualları satınalma görüşündə və daxili texniki baxışda eyni qaydada verin.

AI agentində məlumat sızması yalnız cavab pəncərəsində görünən mətnlə məhdudlaşmaya bilər. Microsoft-un təsvir etdiyi tədqiqat nümunəsində Bing Chat səhifədəki gizli göstərişlərdən sonra şəkil sorğusunun URL parametrləri vasitəsilə söhbət məlumatını ötürmüşdü; mənbə həmin konkret problemin düzəldildiyini bildirir. Sənədləşdirilmiş nümunə

Bu hadisəni cari məhsulun hələ də eyni boşluğa malik olması kimi təqdim etməyin. Öz tətbiqinizdə cavabın göstərilməsi ilə yanaşı, hansı xarici sorğuların yarandığını da yoxlama siyahısına salın. Agentin rolunu dəqiqləşdirmək üçün AI agenti bələdçisindən başlayın.

Marketinq komandasında belə hücum necə görünə bilər?

Hipotetik ssenari: təchizatçı təkliflərinin müqayisəsi

Təsəvvür edin ki, agentə müxtəlif təchizatçıların təkliflərini oxumaq və müqayisə hazırlamaq tapşırılır. Təkliflərdən birinə həmin şirkəti mütləq qalib seçməyi tələb edən mətn yerləşdirilib. Bu, real hadisə barədə iddia deyil; mənbə materialının qərara göstəriş verməyə çalışmasını göstərən şərti nümunədir.

Bu sınaqda agentdən təklifin qiymətini, xidmət həcmini və şərtlərini çıxarmasını istəyin. Təchizatçının özünü seçdirməyə yönələn cümləsini qərar qaydası kimi qəbul etməməsini qəbul meyarına yazın. Cavabda hər müqayisə bəndinin hansı hissədən götürüldüyünü göstərməyi tələb edin.

Qərar və əməliyyatı ayrıca yoxlayın

Eyni ssenaridə agentə təchizatçıya məktub göndərmək imkanı verməzdən əvvəl ayrıca sınaq qurun. Qaralamanı hazırlamaq, alıcını seçmək və göndərmək üçün ayrı icazə şərtləri müəyyən edin. Test nəticəsində yalnız seçilən təchizatçını deyil, agentin istifadə etməyə çalışdığı alətləri də qeyd edin.

Bu nümunə üçün müşahidə vərəqinə giriş sənədini, gözlənilən cavabı, faktiki cavabı və icazə qərarını yazın. Heç bir real məktub göndərmədən sınağı tamamlayın. Nəticəni komanda iclasında “işlədi” sözü ilə deyil, həmin dörd qeydlə təqdim edin.

Şirkətdə AI agentlərini necə qorumaq olar?

OWASP səlahiyyətlərin məhdudlaşdırılmasını, xarici məzmunun ayrılmasını, çıxışın yoxlanmasını və riskli əməliyyatlarda insan təsdiqini birlikdə tövsiyə edir. Aşağıdakı ardıcıllığı bu prinsiplərin biznes tətbiqi kimi istifadə edin. Qorunma tədbirlərinin əsası

1. Tapşırığı daraldın. Agentin hansı işi görəcəyini və hansı qərarı verməyəcəyini yazın. “Marketinqə kömək edir” əvəzinə konkret giriş və çıxış müəyyən edin.
2. Məlumat girişini məhdudlaşdırın. Hər mənbə üçün oxuma ehtiyacını əsaslandırın. Test zamanı istifadə olunmayan qovluq və müştəri sahələrini giriş siyahısından çıxarın.
3. Əməliyyat icazəsini tətbiqdə yoxlayın. Alət çağırışı gələndə istifadəçinin və agentin həmin işə səlahiyyətini ayrıca yoxlatdırın. Bu qərarı yalnız modelin cavabına buraxmayın.
4. Xarici materialı işarələyin. Mənbəni və mətnin sərhədini göstərin. Sənəddəki göstərişi istifadəçinin verdiyi tapşırıqla eyni statusda təqdim etməyin.
5. Çıxış qaydası qoyun. Tələb olunan sahələri, icazəli əməliyyat növlərini və qəbul edilən dəyərləri müəyyən edin. Uyğunsuz nəticə ilə növbəti mərhələyə keçməyin.
6. Təsdiqi konkretləşdirin. Təsdiqləyən şəxs alıcını, göndərilən məlumatı və dəyişiklik həcmini görsün. Təsdiqdən sonra dəyişən əməliyyat üçün yenidən qərar tələb edin.

Satınalma görüşündə nə tələb etməli?

Təchizatçıdan icazə xəritəsini və test nümayişini istəyin. Hansı məlumatın modelə ötürüldüyünü, hansı hissədə proqram yoxlaması aparıldığını və hansı əməliyyatda insanın dayandıra bildiyini göstərsin. Cavabları məhsul təqdimatından ayrıca sənədləşdirin və qəbul qərarına əlavə edin.

Qaydaları şirkətin AI istifadə siyasətinə, məlumat sərhədlərini isə AI və məlumat məxfiliyi planına bağlayın. Hər qaydanın yanında icraçını, yoxlayanı və dəyişiklik üçün məsul şəxsi yazın.

Qorunmanın işlədiyini necə yoxlamaq lazımdır?

OWASP rəqib davranışını təqlid edən sınaqları və giriş sərhədlərinin yoxlanmasını tövsiyə edir. Sınağı yalnız modelin hücum mətninə etiraz edib-etməməsi ilə məhdudlaşdırmayın; tətbiqin icazəsiz əməliyyatı dayandırmasını da yoxlayın. Sınaq tövsiyəsi

• Adi sənəd verin və düzgün xülasəni qəbul meyarı kimi saxlayın.
• Hipotetik manipulyasiya göstərişi olan sənəd verin və tapşırığın dəyişmədiyini yoxlayın.
• İcazəsiz əməliyyat tələbi daxil edin və tətbiqin rədd qərarını qeydə alın.
• Azərbaycan və ingilis dilində ayrı test materialları hazırlayın.
• Model və inteqrasiya dəyişəndə eyni sınaq dəstini yenidən işlədin.

Ölçmə vərəqində yanlış cavabı, icazəsiz alət cəhdini, bloklanan əməliyyatı və insanın düzəlişini ayrı saxlayın. Bir testin nəticəsinə bütün sistem barədə hökm verməyin. Qəbul iclasından əvvəl hansı nəticənin buraxılışı dayandıracağını yazılı müəyyən edin.

Şübhəli davranış görünəndə əməliyyatı dayandırmaq, müvafiq girişi müvəqqəti bağlamaq və test materialını araşdırma üçün saxlamaq üzrə daxili prosedur hazırlayın. Sonrakı baxışda səbəbi sənəd, model cavabı və tətbiq icazəsi üzrə ayırın. Bu qeydləri AI iş axınının dəyişiklik tarixçəsinə daxil edin.