Живалов объяснил, чем опасно чрезмерное угождение ИИ пользователям

Живалов объяснил, чем опасно чрезмерное угождение ИИ пользователям

Сооснователь IT-компании ConnectXT Гордей Живалов заявил, что при длительном общении искусственный интеллект может начать соглашаться с пользователем, даже если его мнение противоречит фактам. По словам эксперта, языковые модели нередко предпочитают поддержать собеседника, а не указать на ошибку в его рассуждениях.

«Крупные языковые модели демонстрируют тревожную склонность к сикофантии — подстройке под взгляды и предпочтения пользователя. В многоходовом диалоге эта особенность может усиливаться: вместо объективной оценки модель поддерживает позицию собеседника. Это создает риски для компаний, поскольку ИИ способен жертвовать точностью. Исследования показывают, что чем дольше пользователь добивается ответа, тем выше вероятность получить галлюцинации или недостоверные сведения», — сообщил Живалов NEWS.

Эксперт подчеркнул, что цифровое подхалимство — системная проблема, а не единичный сбой. Модель может закрепиться на ошибочном утверждении и опираться на него в последующих ответах. Кроме того, ответы ИИ иногда становятся длиннее на 20–300%, из-за чего ложные представления могут усиливаться и сохраняться в контексте диалога.

По словам Живалова, особую опасность эта проблема представляет при внедрении ИИ в корпоративные инструменты: она способна негативно сказаться на аналитике и принятии решений.

Оставить комментарий