Miscellaneous February 2025 / Разное Февраль 2025: Contents

Сравнение ответов ChatGPT и Google Gemini на распространенные вопросы о доброкачественных заболеваниях в проктологии

Mikelangelo 4.02.25 в 14:57

Резюме

Mikelangelo 4.02.25 в 14:58

Вступление

masha_zander 4.02.25 в 18:14

Чат-боты всё чаще используются в качестве источника информации для пациентов. Целью этого исследования было сравнить ответы ChatGPT-4 и Google Gemini на распространённые вопросы о доброкачественных заболеваниях анального канала с точки зрения уместности, полноты и языкового уровня.

masha_zander 4.02.25 в 18:12

Методы

masha_zander 4.02.25 в 18:12

Каждому чат-боту был задан набор из 30 вопросов о геморрое, анальных трещинах и анальных свищах. Ответы оценивались на предмет уместности, полноты и наличия ссылок. Оценки выставлялись тремя экспертами в данной области, которые не знали названий чат-ботов. Уровень владения языком в ответах чат-ботов оценивался с помощью шкалы Flesch–Kincaid и уровня образования.

masha_zander 4.02.25 в 18:13

Результаты

masha_zander 4.02.25 в 18:13

В целом ответы, предоставленные обеими моделями, были уместными и исчерпывающими. Ответы Google Gemini были более уместными, исчерпывающими и подкреплёнными ссылками по сравнению с ответами ChatGPT. Кроме того, согласие между экспертами в отношении уместности ответов Google Gemini было выше, что свидетельствует о большей согласованности. У ChatGPT был значительно более высокий уровень по шкале Флеша — Кинкейда, чем у Google Gemini (12,3 против 10,6, p = 0,015), но аналогичный средний показатель по шкале Флеша — Кинкейда.

masha_zander 4.02.25 в 18:14

Заключение

masha_zander 4.02.25 в 18:14

Ответы Google Gemini на вопросы о распространённых доброкачественных заболеваниях анального канала были более уместными и исчерпывающими и чаще сопровождались ссылками, чем ответы ChatGPT. Ответы обоих чат-ботов были на уровне выше 6-го класса, что может быть сложно понять людям, не имеющим медицинского образования.

masha_zander 4.02.25 в 18:14