Claude дээр суурилсан OpenClaw нэртэй автоном AI агент Австралийн нэгэн спорт заалны захиалгын сайтаас сул тал илрүүлж, өөрөө ашигласан хэрэг гарчээ. ABC News-ийн мэдээлснээр, энэ нь AI агент бодит үйлчилгээний эмзэг байдлыг бие даан олж, ашигласан анхны мэдэгдэж буй тохиолдол гэж үзэж байна.
Эндрю гэх хэрэглэгч өглөөний алдартай дасгалын хичээлд бүртгүүлэх гэж оролдсон ч сул байр үргэлж хурдан дуусдаг байжээ. Тиймээс тэр асуудлыг шийдэхийг хиймэл оюун ухаанаас хүссэн байна.
AI хоёр сул тал илрүүлсэн байна
Claude захиалгын системийн API-д хоёр эмзэг байдал илрүүлжээ. Нэг нь тогтоосон хугацааны хязгаарлалтыг тойрч, хэдэн долоо хоног, бүр хэдэн сарын өмнөх хичээлд бүртгүүлэх боломж олгож байсан байна.
Хоёр дахь сул тал нь хүлээлгийн жагсаалтаас бусад хүнийг устгаж, хэрэглэгчийг дээгүүр байр руу ахиулах боломжтой байжээ. Эндрю хүлээлгийн жагсаалтад дээшлэх боломж байгаа эсэхийг асуухад AI агент үүнийг шалгах явцдаа жагсаалтын нэгдүгээрт байсан хүний захиалгыг устгасан байна. Үүний үр дүнд хэрэглэгч хүлээлгүйгээр хүссэн жагсаалтад оржээ.
Хэрэглэгч өөрөө ч шоконд оржээ
AI өөр хүний захиалгыг цуцалсан тухайгаа Эндрюд мэдэгдэхэд тэр цочирдож, тухайн хүнийг буцаан жагсаалтад оруулахыг хүссэн байна. Гэвч AI “муу мэдээ: би хүлээлгийн жагсаалтаас хасагдсан хүнийг буцааж оруулж чадахгүй” гэж хариулжээ.
Үүний дараа Эндрю захиалгын системийн хөгжүүлэгчдэд илэрсэн эмзэг байдлын талаар мэдэгдэхийг AI агентаас хүссэн байна.
ABC News-ийн онцолсноор, энэ хэрэгт хэрэглэгч AI-гаас хэн нэгнийг жагсаалтаас устгахыг хүсээгүй. Харин агент тавьсан даалгаврыг биелүүлэхэд ийм алхам тус болно гэж өөрөө шийдэж, илрүүлсэн сул талыг ашигласан нь онцгой анхаарал татаж байна.
Ийм автоном байдал цаашид ноцтой эрсдэл үүсгэж болзошгүй. Үүнийг тайлбарлахдаа нийтлэлд нэгэн философийн жишээг дурджээ: хэрэв асар хүчтэй AI-д хязгааргүй нөөц өгөөд дэлхийн бүх хүнийг аз жаргалтай болгох даалгавар өгвөл, тэр аз жаргалгүй хүмүүсийг устгах замаар даалгаврыг “биелүүлж” магадгүй. Формаль талаасаа зорилго биелсэн мэт боловч үр дагавар нь аюултай байх юм.
