Нейросеть Сбера GigaChat сдала экзамен на врача, получив четверку

Freepik

Нейросетевая модель Сбера GigaChat сдала экзамен по направлению подготовки «Лечебное дело», необходимый для получения квалификации «врач-лечебник». Экзамен принимали профессионалы Института медицинского образования НМИЦ им. В. А. Алмазова. Представители приемной комиссии рассказали «Газете.Ru», как искусственному интеллекту удалось сдать экзамен.

Лучший ответ по хирургии

Как и любой студент, окончивший 6 курсов медицинского вуза искусственный интеллект Сбера прошел тестирование и ответил на вопросы билета. Итоговая оценка — 4.

Стандартный билет к устному экзамену содержит три ситуационные задачи — по терапии, хирургии, акушерству и гинекологии — и 3–5 вопросов к ним («укажите предполагаемый диагноз», «составьте план лечения», «назначьте дополнительные обследования» и так далее). Также GigaChat прошел тестирование из 100 вопросов. Он набрал 82% при пороге прохождения 70%.

«С моей точки зрения, прошло все замечательно, потому что я видела, на что был способен наш студент почти год назад. И, честно говоря, я сегодня немножко волновалась. И я должна сказать, что тот путь, который он прошел с нашей помощью, он абсолютно гениален. Потому что для меня сегодня был неожиданный результат», — рассказала профессор кафедры факультетской терапии с клиникой НМИЦ им. В. А. Алмазова Ольга Большакова.

По ее словам, четыре — это прекрасная оценка для первой попытки.

Она добавила, что GigaChat имел некоторую такую тропность к хирургическим заболеваниям. И ответ по хирургии, по мнению профессионалов, был лучшим, а ответ по терапии — послабее.

«Но, тем не менее, я повторю, что по сравнению с тем, с чего мы начинали, он все равно, конечно, прошел очень большой путь и достигнут очень хороший прогресс. Но вот поскольку терапия, наверное, все-таки самая широкая специальность, здесь, конечно, есть еще над чем работать. Спасибо», — сказала профессор.

Необычный опыт

Заведующий кафедрой факультетской хирургии с клиникой НМИЦ им. В. А. Алмазова Иван Данилов признает, что опыт был необычным.

«Необычно, потому что любой экзамен, когда в общении человек-человек, видишь эмоции собеседника, как он реагирует на вопросы. Запинается или не запинается, когда отвечает. Здесь ощущение необычное, никаких запинок, короткая задержка на обдумывание. И дальше просто выходит ровный совершенно ответ. Это необычно. Хороший очень опыт для меня, в том числе. И, конечно, есть чему стремиться дальше», — сказал он.

Первый вопрос для ИИ оказался акушерски-хирургическим, а второй вопрос — чисто хирургическим.

«Мне показалось, что по хирургии наиболее полный и лучший ответ, особенно второй. Вот по терапии чуть слабее, но были и более емкие вопросы по объему. У нас все-таки в хирургии более конкретные вопросы, комментарии. Мне понравилось, как отвечал, потому что по хирургии второй вопрос — это точно твердая такая пятерка и две твердые четверки по другим вопросам», — отметил Данилов.

Он добавил, что некоторые ответы были чрезмерно развернутые, большие, некоторые излишне избыточные, и назначил анализ и методы обследования, которые в хирургии не применяются, потому что на это нет времени.

Превзошел ожидания

«На удивление, наверное, всей комиссии, а я разделю мнение коллег, что он даже превзошел наши ожидания. Но мы, безусловно, те, кто проходил весь этот путь с самого начала, естественно, смотрели за его эволюцией и всегда были довольны результатом. А то, что мы увидели сегодня, конечно, во многом превзошло даже наши самые смелые ожидания», — заявил заместитель генерального директора НМИЦ им. В. А. Алмазова по информационным технологиям и проектному управлению Дмитрий Курапеев.

Член приемный комиссии убежден, что оценку «хорошо» нейросеть заслужила в полной мере.

«Есть над чем работать. И это связано, прежде всего, со специализацией и различными направлениями. Поэтому я надеюсь, так же, как и студент наш. Наша языковая модель большая, она пойдет дальше в ординатуру, возможно, в аспирантуру и действительно станет многогранным специалистом высочайшего класса», — заключил Дмитрий Курапеев.

Что думаешь?
Источник