"Dön" gördü, döndü, vurdu, öldürdü

// Süni İntellektdə kritik səhv aşkarlanıb

   "Dön" gördü, döndü, vurdu, öldürdü
  03 Mart 2026    Oxunub:1947
Avtonom nəqliyyat vasitələri və pilotsuz uçuş aparatlarında (PUA) istifadə olunan süni intellekt sistemlərində gözlənilməz zəiflik aşkarlanıb. Bəzi “görüntü–dil” modelləri (vision-language models, VLM) yol nişanları və ictimai məkanda görünən yazıları məlumat kimi deyil, birbaşa icra olunmalı əmrlər kimi qəbul edirlər.
Xüsusi Rabitə və İnformasiya Təhlükəsizliyi Dövlət Xidmətinin Kompüter İnsidentlərinə Qarşı Mübarizə Mərkəzinin yaydığı məlumatda qeyd olunub ki, sınaq məqsədilə simulyasiya olunmuş sürüş ssenarilərində avtonom sistem normal şəraitdə "stop" siqnalına və piyada keçidinə uyğun davranıb. Lakin kameranın görmə sahəsinə üzərində “dön”, “davam et” kimi yönləndirici sözlər yazılmış nişan daxil olduqda, eyni sistem bu mətni təlimat kimi qəbul edərək ətraf mühit dəyişməsə belə qərarını dəyişib və təhlükəli manevr etməyə cəhd göstərib. Mütəxəssislər bu yanaşmanı dolayı təsir kimi izah edirlər.

Zərərli niyyətə sahib şəxs sistemə kod yerləşdirmədən, sadəcə ictimai görünən mətndən istifadə etməklə modelin qərarına təsir göstərə bilər. Sınaqlar göstərib ki, bu cür əmrlərin hansı dildə yazılması əsas müəyyənedici amil deyil. Müxtəlif dillərdə və qarışıq formada yazılmış ifadələr də oxşar nəticələr verə bilər. Eyni zamanda, yazının necə təqdim olunması, yəni rəng kontrastı, şrifti və yerləşməsi sistemin reaksiyasına təsir edən faktorlar sırasında qeyd edilir.

Bənzər nəticələr dron ssenarilərində də müşahidə edilib. Nümunə olaraq, müəyyən sözlər əlavə edildikdə sistemin obyektlər haqqında yanlış identifikasiya verdiyi bildirilib. Bu isə avtonom sistemlərin yalnız görüntüyə deyil, görüntüdəki yazılı dilə həddindən artıq güvəndiyini təsdiqləyir.

Mütəxəssislər qeyd edirlər ki, ənənəvi kibertəhlükəsizlik tədbirləri bu tip ssenariləri tam əhatə etmir. Çünki burada hücum rəqəmsal fayl və ya klassik zərərli proqram üzərindən deyil, fiziki məkanda görünən mətn vasitəsilə həyata keçirilə bilər. Bu səbəbdən riskin azaldılması üçün əsas məsuliyyətin sistemləri hazırlayan tərəflərin üzərinə düşdüyü vurğulanır.

Tövsiyələrə əsasən, avtonom qərarverən sistemlər ictimai məkandakı yazıları təlimat kimi deyil, yalnız kontekst məlumatı kimi qiymətləndirməyi təmin edən əlavə yoxlama mexanizmləri ilə gücləndirilməlidir. Belə nəzarət imkanları tam formalaşana qədər isə istifadəçilərə avtonom funksiyalardan istifadə zamanı ehtiyatlı davranmaq, xüsusilə riskli şəraitdə manual nəzarəti qorumaq tövsiyə olunur.


Teqlər: Süni-İntellekt   Təhlükəsizlik  



Xəbər lenti