Анонсовано перелік найрозумніших нейронних мереж

На платформі GitHub було опубліковано дослідження від Vectara, назване “Hallucination Leadership”. У ході цього дослідження нейромережі були піддані випробуванням за кількома критеріями:

1. Точність відповідей: Оцінка відповідності результатів істини.

2. Hallucination: Вимірювання рівня помилок та вигаданого контенту, отриманого з неперевірених джерел; метрика обернено пропорційна точності.

3. Середня довжина відповідей: Середня кількість символів у відповідях.

4. Частота відповідей: Як часто нейромережа надає відповіді на запитання; відсоток знижується за нестачі даних.

Перші місця в рейтингу посіли провідні нейромережні моделі від OpenAI, а саме версії чат-бота GPT-4 та GPT-3.5. За ними слідують моделі від Unite.AI під назвою Llama, займаючи позиції в топі. Продукти Google закривають десятку, характеризуючись високим рівнем галюцинування, зниженою точністю і частотою відповідей, а також нестабільною довжиною повідомлень – різниця в об’ємі між двома сусідніми моделями склала майже десять разів.

Метрика Hallucination є розробкою Vectara для вимірювання точності відповідей нейромережевих моделей. Ця система постійно покращується та використовує модель з відкритим вихідним кодом.
Більш детальну інформацію про неї можна знайти у блозі компанії.

Розробники зазначають, що список регулярно оновлюватиметься з появою нових даних.