Спільне дослідження Microsoft Research і Salesforce проаналізувало понад 200 тисяч діалогів із сучасними AI-моделями та виявило: у тривалих розмовах їхня надійність різко падає. Попри високі результати в одноразових запитах, багатокрокове спілкування часто призводить до помилок і галюцинацій, передають Патріоти України.
Дослідники з Microsoft Research разом із Salesforce проаналізували понад 200 тисяч діалогів із провідними великими мовними моделями. Серед них – GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1 та Llama 4. Про це пише Windows central.
Результати показали: моделі демонструють близько 90% успішності при виконанні завдань за одним запитом. Проте у форматі природної багатокрокової розмови цей показник падає приблизно до 65%.
Водночас дослідники наголошують: це не означає, що модель буквально стає дурнішою. Загальне зниження когнітивної здатності оцінили приблизно у 15%. Однак рівень ненадійності зріс на 112%. Іншими словами, відповіді частіше ставали нестабільними або містили помилки.
Як пише XDA, однією з причин називають так зване передчасне генерування. Модель починає формувати відповідь ще до того, як користувач повністю виклав контекст або уточнив деталі. Це призводить до того, що подальший діалог будується на неточній основі.
Ще одна проблема – закріплення первинної помилки. Якщо перша відповідь містила неточність, модель часто використовує її як базу для наступних тверджень, навіть коли вона хибна.
Дослідники також зафіксували явище "роздування відповіді". У багатокрокових діалогах обсяг тексту зростав на 20%–300% порівняно з одноразовими запитами. Довші відповіді містили більше припущень і галюцинацій, які згодом сприймалися як частина контексту розмови.
Навіть моделі з додатковими "thinking tokens", як-от o3 чи DeepSeek R1, не змогли повністю уникнути цієї проблеми. У ширшому контексті дослідження підкреслює: попри швидке впровадження генеративного AI та зміну звичок користувачів, зокрема перехід від класичного пошуку до AI-інструментів, надійність таких систем залишається вразливою, особливо коли у діалозі з’являється багато змінних.
Українці, які після виходу на пенсію продовжують працювати, можуть отримати перерахунок пенсії. Основний перерахунок Пенсійний фонд проводить автоматично у квітні. Але частина пенсіонерів, які набрали необхідний страховий стаж уже пізніше, може звернут...
В Україні пропонують запровадити чіткий механізм добровільного припинення громадянства для людей, які вже мають паспорт іншої держави. Йдеться про можливість офіційно відмовитися від українського громадянства за зрозумілою процедурою та без зайвих адмі...
