Можно ли использовать нейросеть для поиска ответов на конкретные вопросы, как Яндекс или Гугл? Хочу поделиться с вами одним интересным кейсом.

Недавно в одном из наших чатов был задан вопрос: автор критерия Геймса-Хауэлла* — 1 человек с двойной фамилией или 2 разных человека? (* — это один из парных post-hoc тестов в дисперсионном анализе)

Гугл с Яндексом, Википедия, Академия Гугл при первичном поиске не смогли ответить на этот вопрос. Мы не нашли ни достоверных сведений об авторах, ни исходную публикацию об этом критерии

Тогда коллеги спросили ChatGPT:

Существовали ли такие статистики как Геймс и Хауэлл?

И получили ответ:

Да, в статистике действительно существуют исследователи с фамилиями Геймс и Хауэлл. Метод Геймса-Хауэлла был разработан Джоном Геймсом (John Games) и Эдвардом Хауэллом (Edward D. Howell)…

Отличная, исчерпывающая информация. Однако мы все-таки решили поискать статью-первоисточник. Ведь теперь мы знали полные имена авторов теста. Ввели поисковый запрос в Гугл: «edward d. howell john games paired test» и в первой же ссылке получили нужную статью: «Pairwise Multiple Comparison Procedures with Unequal N’s and/or Variances: A Monte Carlo Study». Вот только написали её Paul A. Games и John F. Howell

Получается, ChatGPT выдумал имена статистиков? Не совсем. Например, Эдвард Хауэлл — политолог, писатель, автор бестселлера о Северной Корее. А имя Джон к Полу Геймсу, возможно, перешло от статистика Джона Хауэлла… В-общем, нейронка не заморачивалась с правильным сопоставлением имен и фамилий и скомбинировала их по своему усмотрению. Предполагаю, что процесс выглядит примерно так: ⁃ Есть ли статистик Хауэлл? ⁃ Да, есть, это автор парного теста к ANOVA. ⁃ Какое имя у Хауэлла? ⁃ (забываем предыдущий поисковый результат, ищем наиболее частую комбинацию во Всемирной сети) Эдвард.

Выводы из этой истории:

1. Ответ на конкретный вопрос от ChatGPT обязательно нужно перепроверять.

2. ChatGPT вольно обращается с комбинациями фактов, подбирая и располагая их в ответе. При этом каждый элемент ответа может подбираться отдельно, независимо от других данных.

3. Благодаря ответу ChatGPT мы смогли найти нужную статью. До этого, вбивая только фамилии авторов, найти почему-то не получалось.