Care este riscul dacă ceri răspunsuri prea scurte în discuțiile cu chatboții
Chatbot AI (sursa foto HAKINMHAN, Dreamstime.com)
O cercetare făcută de un startup francez în rândul unor chatboți foarte des folosiți a ajuns la concluzia că, dacă îi ceri unui chatbot să-ți dea răspunsuri mai concise la întrebări, crește mult riscul ca agentul AI să „inventeze” mai mult decât dacă pui întrebări detaliate la care NU ceri răspuns scurt. De ce concizia „răpune” acuratețea?
Giskard, o companie de testare AI din Franța, dezvoltă un sistem de evaluare cuprinzător pentru modelele de inteligență artificială și a prezentat un studiu în care compară mai multe modele de limbaj precum ChatGPT, Gemini, Llama, DeepSeek, Grok, Claude, Mistral și altele.
Una dintre concluzii este că modelele de inteligență artificială cel mai des mai folosite nu sunt neapărat și cele mai de încredere, arată datele Giskard. Unele „halucinează” prea mult. „Halucinațiile” sunt, când este vorba despre AI, răspunsuri create, incorecte sau înșelătoare, generate de un model AI de limbaj,
Partea rea este că aceste răspunsuri, intercalate între cele corecte, par credibile, dar nu se bazează pe date reale sau pe surse verificate.
Cercetătorii de la Giskard spun că solicitările de răspunsuri scurte la întrebări, mai ales la cele cu mare ambiguitate, pot afecta negativ acuratețea factuală a unui model AI.
„Datele noastre arată că modificări easy ale instrucțiunilor de sistem influențează dramatic tendința unui model de a halucina”, au scris cercetătorii. „Această descoperire are implicații importante pentru implementare, deoarece multe aplicații prioritizează răspunsurile concise, pentru a lower consumul de date, pentru a spori viteza și a micșora costurile.”, spun cei de la compania franceză, citați de TechCrunch.
O explicație ține de faptul că răspunsurile bine argumentate, mai ales la întrebări unde ar trebui explorate mai multe unghiuri, necesită explicații mai lungi. Dacă ceri din launch unui chatbot să-ți dea un răspuns scurt, nu mai are cum să treacă prin toate punctele și sunt șanse mai mari să apară erori.
„Halucinațiile” de AI reprezintă o problemă greu de eliminat la aceste aplicații. Chiar și cele mai avansate modele „inventează” uneori lucruri, din cauza naturii lor probabilistice. Mai mult, cele mai noi modele halucinează mai mult decât cele anterioare, ceea ce face ca răspunsurile lor să fie mai greu de verificat.
Sursa foto: Dreamstime.com
About The Author
