Представлен перечень самых умных нейронных сетей

На платформе GitHub было опубликовано исследование от Vectara, названное “Hallucination Leadership”. В ходе этого исследования нейросети были подвергнуты испытаниям по нескольким критериям:

1. Точность ответов: Оценка соответствия результатов истине.

2. Hallucination: Измерение уровня ошибок и выдуманного контента, полученного из непроверенных источников; метрика обратно пропорциональна точности.

3. Средняя длина ответов: Среднее количество символов в ответах.

4. Частота ответов: Как часто нейросеть предоставляет ответы на заданные вопросы; процент снижается при недостатке данных.

Первые места в рейтинге заняли ведущие нейросетевые модели от OpenAI, а именно версии чат-бота GPT-4 и GPT-3.5. За ними следуют модели от Unite.AI под названием Llama, занимая оставшиеся позиции в топе. Продукты Google закрывают десятку, характеризуясь высоким уровнем ” галлюцинирования”, сниженной точностью и частотой ответов, а также нестабильной длиной сообщений — разница в объеме между двумя соседними моделями составила почти десять раз.

Метрика Hallucination представляет собой разработку Vectara для измерения точности ответов нейросетевых моделей. Эта система постоянно улучшается и использует модель с открытым исходным кодом. Более подробную информацию о ней можно найти в блоге компании.

Разработчики отмечают, что список будет регулярно обновляться с появлением новых данных.