Какова вероятность того, что ИИ вас пранканёт? От 3 до 27% — в таком количестве случаев языковые модели предлагают «выдуманные» ответы, целиком или частично. К таким выводам пришли сотрудники стартапа Vectara после проведённого исследования. Они называют этот баг «галлюцинациями» — и заявляют, что избавиться от них непросто. Среди исследуемых моделей самый низкий показатель «галлюцинаций» выявили у Chat GPT от OpenAI, всего 3%. Показатель Claude 2 от Anthropic превысил 8%, а больше всего «галлюцинаций» выдаёт Google Palm Chat — 27%. Почему так происходит? У авторов исследования три объяснения: ✔️ в интернете полно неправдивой информации, ИИ используют её в своих ответах, ✔️ они захватывают множество результатов поиска по запросу и суммируют их в ответе, ✔️ языковые модели полагаются на математическую вероятность, то есть угадывают, и поэтому иногда ошибаются. Опыт OpenAI показывает, что минимизировать риски появления подобных ответов реально. Сделать это можно в том числе с помощью качественной отработки обратной связи от тестировщиков.