13
Илон Маскийн xAI компанийн хөгжүүлсэн Grok хиймэл оюун ухаан (ХОУ) олон нийтэд түгсэн чатботуудаас хамгийн бага алдаа гаргаж, нарийн нарийвчлалтай мэдээлэл өгдөг болох нь тогтоогдлоо. Medee.news-ийн мэдээлснээр, Relum аналитик төвөөс гаргасан хиймэл оюун ухааны үйлчилгээнүүдийн найдвартай байдлын тайланд энэ тухай дурдсан байна.
Судалгааны гол үзүүлэлтүүд:
- Хийсвэр алдаа (Hallucinations): Grok-ийн хувьд энэ үзүүлэлт ердөө 8% байсан нь ChatGPT (35%) болон Google Gemini (38%)-аас бараг 4 дахин бага байна. Энэ нь нарийн нягт ажиллагаа шаардсан даалгаварт Grok илүү тохиромжтойг харуулж байна.
- Үнэлгээний систем: Судалгаанд 0-99 хүртэлх онооны системийг ашигласан бөгөөд оноо өндөр байх тусам тухайн систем «найдвартай бус» гэдгийг илтгэнэ.
- Grok: 6 оноо (Хамгийн шилдэг үр дүн).
- DeepSeek (Хятад): 4 оноо (Алдааны түвшин 14%).
- Meta AI: 70 оноо.
- Claude: 75 оноо.
- ChatGPT: 99 оноо (Хамгийн найдвартай бус үнэлгээ авсан).
Grok-ийн давуу талууд:
Шинжээчид Grok-ийг хариултын тогтвортой байдал, хэрэглэгчдийн 4.5 одтой үнэлгээ, мөн системийн тасралтгүй ажиллагаа (саатал ердөө 0.07% байсан) зэргээр нь өндрөөр үнэлжээ.
Хэдийгээр ChatGPT болон Gemini-ийн алдааны түвшин өндөр гарсан ч эдгээр системүүд нь илүү бүтээлч даалгавар гүйцэтгэхэд чиглэгдсэн байдаг бол Grok болон DeepSeek нь баримт болон нарийн мэдээлэлд илүү анхаарч байгааг тайланд онцолсон байна.
