Доля галлюцинаций по отраслям
От самых рискованных (вверху) к самым «чистым». Значения иллюстративные, по данным симуляций.
Картина логичная: чем сложнее, изменчивее и «дороже ошибки» факты в категории, тем чаще модель ошибается. В финансах и медицине условия меняются часто, формулировки регулируются, а данные на сайтах нередко противоречивы — модели есть на чём «спотыкаться». В FMCG факт о продукте простой и стабильный, поэтому ошибок меньше.
Из чего складываются ошибки
Разметка типов галлюцинаций по всему массиву проблемных ответов (а не внутри одной категории):
Доли — внутри массива ответов с фактической ошибкой; иллюстративно, по симуляциям.
Почти 40% галлюцинаций — это устаревшие данные, а не «фантазии на пустом месте». Модель опирается на то, что когда-то попало в её обучение или нашлось в открытых источниках, и не знает, что цена или условие уже изменились. Это хорошая новость: такой риск управляем — он лечится свежими, однозначными фактами на сайте.
Почему в одних нишах врут чаще
| Фактор риска | Где сильнее | Почему повышает галлюцинации |
|---|---|---|
| Часто меняющиеся условия | Финансы, телеком | Модель «помнит» старую версию тарифа |
| Регулируемые формулировки | Медицина, финансы | Осторожные источники → модель домысливает |
| Противоречивые данные в сети | Недвижимость, B2B | Нет единого источника правды о бренде |
| Сложный состав продукта/услуги | B2B-ПО, девелопмент | Легко перепутать комплектации и опции |
| Простой стабильный факт | FMCG, ритейл | Меньше поводов ошибиться |
Что снижает риск
- Единый источник правды на сайте. Один выверенный набор фактов (цены, услуги, условия), машиночитаемо размеченный — модели проще взять верное (см. «Единый источник фактов о бренде»).
- Свежесть данных. Главный источник ошибок — устаревшее; держите ключевые факты актуальными и датированными.
- Структурированная разметка. Schema.org для цен, услуг, организации снижает риск «домысливания».
- Мониторинг и алертинг. Регулярная проверка ответов ловит новую галлюцинацию до того, как её увидят клиенты (см. «Бренд-алертинг»).
- Замер по своей категории. Если вы в зоне риска (финансы, медицина, недвижимость) — мерить точность стоит регулярно, а не разово.
Частые вопросы
Можно ли вообще убрать галлюцинации полностью?
Полностью — нет, это свойство генеративных моделей. Но долю ошибок о конкретном бренде можно заметно снизить, дав ИИ выверенные и свежие факты и убрав противоречия в открытых источниках. Цель — не «ноль теоретически», а минимум практически.
Откуда взялись проценты?
Из разметки смоделированных ответов в движке GEO AIM. Это сравнительная иллюстрация по категориям, не официальная метрика точности нейросетей и не гарантия конкретного результата для отдельного бренда.
Мы в «чистой» категории — можно расслабиться?
Низкая средняя по категории не значит, что у вашего бренда всё хорошо: ошибки часто концентрируются вокруг конкретных продуктов или устаревших данных. Это проверяется только замером по вашему бренду.