ЯЗЫКОВЫЕ МОДЕЛИ (GPT) В ЗДРАВООХРАНЕНИИ: КЛИНИЧЕСКАЯ ПРАКТИКА И МЕДИЦИНСКОЕ ОБРАЗОВАНИЕ

АННОТАЦИЯ

Искусственный интеллект (ИИ) считается ключевым фактором в развитии медицины и фундаментальной проблемой, связанной с тем, как обеспечить достаточное медицинское обслуживание населения. В определенных областях ИИ уже используется для составления прогнозов и оказания помощи в интерпретации изображений или других диагностических тестов. Однако его истинный потенциал в здравоохранении заключается в его способности трансформировать клинические рабочие процессы путем автоматизации рутинных и трудоемких задач. Это позволяет медикам сосредоточиться на более важных и сложных задачах, где искусственный интеллект может служить ценным инструментом поддержки. Сегодня стало ясно, что ИИ обладает потенциалом значительно улучшить качество медицинских услуг, улучшив результаты диагностики и лечения пациентов.

Данный аналитический обзор рассматривает два конкретных приложения современных разработок искусственного интеллекта в здравоохранении :1. эффективность ChatGPT в консультации больных с распространенными сердечными симптомами или состояниями; 2. всестороннюю оценку GPT-4 в процессе экзамена на получение медицинской лицензии в США (USMLE). Авторами обзора выполнен перевод и анализ результатов проведенных исследований, чтобы сделать их доступными для широкой медицинской аудитории с тем, чтобы определить перспективные направления внедрения ИИ в область медицины.

ABSTRACT

Artificial intelligence (AI) is considered a key factor in the development of medicine and a fundamental problem related to how to provide sufficient medical care to the population. In certain areas, AI is already being used to make predictions and assist in interpreting images or other diagnostic tests. However, its true potential in healthcare lies in its ability to transform clinical workflows by automating routine and time-consuming tasks. This allows physicians to focus on more important and complex tasks, where artificial intelligence can serve as a valuable support tool. Today it has become clear that AI has the potential to significantly improve the quality of medical services by improving the results of diagnosis and treatment of patients.

This analytical review examines two specific applications of modern artificial intelligence tools in healthcare :1. The effectiveness of ChatGPT in consultations of patients with common cardiac symptoms or conditions; 2. A comprehensive assessment of GPT-4 during the examination for obtaining a medical license in the United States (USMLE). The authors of the review translated and analyzed the results of the conducted studies in order to make them available to a wide medical audience in order to determine promising directions for the introduction of AI in the field of medicine.

Ключевые слова: искусственный интеллект, большие языковые модели, консультации в кардиологии, экзамен на медицинскую лицензию.

Keywords: artificial intelligence, Large Language Models, consultations in cardiology, Medical License exam.

Введение

ChatGPT, созданный OpenAI, достиг 100 миллионов пользователей всего за 2 месяца после запуска https://openai.com/. ChatGPT работает на базе генеративного предварительно обученного трансформера (GPT-3.5), который представляет собой большую языковую модель (LLM), обученную со 175 миллиардами параметров [1]. ChatGPT не является искусственным общим интеллектом, не всегда даёт правильные ответы, и потому ожидания многих пользователей неверны, особенно в отношении медицины. Тем не менее, возникают вопросы относительно того, является ли ChatGPT медицинским продуктом, и кто несёт ответственность, даже несмотря на то, что ChatGPT всегда делает заявление об отказе от ответственности. Понятно, что есть существенная разница между разговорным и медицинским ИИ, в котором целью является анализ фактов о здоровье людей.

На самом деле, изучение возможностей LLM в решении медицинских проблем является частью давней исследовательской программы по ИИ в медицине, восходящей к классической работе Ledley and Lusted [2]. С тех пор исследования вычислительных методов для оказания помощи врачам отличались сменой различных методов представления и рассуждения, включая основные вероятностные методы и методы теории принятия решений (например, [3,4]), продукционные экспертные системы, семантические графы (например, [5]), контролируемое обучение баз медицинской информации (например, [6-9]) и модели глубоких нейронных сетей (например, [10-13].

Каково же реальное использование ChatGPT в здравоохранении [14] ?

Преобразование текста в текст может помочь автоматически заполнять клинический документ (например, отчёт о проделанной работе) на основе коротких фраз, предоставленных клиницистом-человеком, тем самым снижая нагрузку на документацию. При использовании для составления клинических документов LLM также могут интегрировать наблюдения клиницистов и знаний о клинических рекомендациях, отражая реальные схемы диагностики и лечения, а впоследствии оказываясь полезными для постановки дифференциального диагноза и составления планов лечения. Недавно был разработан первый клинический LLM, GatorTron (8,9 миллиарда параметров), использующий более 90 миллиардов слов текста (включая 82 миллиарда слов клинического текста), и продемонстрированы его возможности в клинической обработке естественного языка [15]. Изучена способность SynGatorTron генерировать текст (5 миллиардов и 20 миллиардов параметров), генеративной клинической LLM, основанной на архитектуре GPT-3 [16]. В настоящее время проводятся исследования по LLM, посвященные фундаментальным вопросам, таким как включение цепочек рассуждений посредством выбора-вывода и подсказки цепочки мыслей [17-19]. Как только будут устранены текущие ограничения, можно будет использовать ChatGPT и следующее поколение LLM для многих приложений, представленных в таблице 1.

Как и во многих инновационных технологиях, последние 20% разработки занимают 80% от общего времени. Нет исключения и для ChatGPT, - существует вероятность того, что неправильное внедрение моделей ИИ может негативно сказаться на уходе за пациентами. Если модель можно обучить отвечать, например, на основные вопросы, означает ли это, что пациенты могут вообще не ходить к врачу, полагаясь на ChatGPT? Кардиологи пока не слишком обеспокоены такой возможностью https://cardiovascularbusiness.com/topics/artificial-intelligence .

Возможности ChatGPT еще предстоит выяснить, - является ли эта технология революцией или просто эволюцией.  Исходя из вышесказанного, цель нашего обзора состоит в том, чтобы показать последние конкретные разработки на основе ИИ, -в кардиологии и в медицинском образовании. Ранее мы уже обращались к этой проблеме [20,21], но динамика развития ИИ сегодня предоставляет новые возможности, которые мы здесь анализируем. Статья состоит из двух разделов: первый раздел посвящен экспериментальной оценке эффективности ChatGPT как инструмента для интерпретации симптомов и лечения распространенных сердечных заболеваний и фактически отражает точку зрения клиницистов; второй раздел описывает американский опыт применения GPT-4 в решении задач медицинского образования.

Таблица 1.

 Потенциальные области применения и исследования в области здравоохранения для ChatGPT и аналогичных LLM

1. Эффективность ChatGPT в клинике распространенных сердечных заболеваний

Цель данного исследования состояла в оценке точности рекомендаций ChatGPT по вопросам, связанным с распространёнными сердечными симптомами или состояниями [22].

Методы

В проекте голландских врачей AMSTELHEART-2 протестировали способность ChatGPT правильно отвечать на простые вопросы о сердечно-сосудистых заболеваниях и интерпретировать симптомы или давать рекомендации по лечению на основе кейсов сердечно-сосудистых заболеваний, основанных на первичной медицинской помощи. Простые вопросы, а также краткие описания кейсов были введены онлайн только на английском языке на упомянутой выше веб-платформе ChatGPT, при этом собственных программных продуктов клиницисты не разрабатывали. Здесь надо отметить, что это прямой способ внедрить ChatGPT для любого другого заболевания.

Модель использует методы глубокого обучения для понимания и генерации текста, что позволяет отвечать на вопросы, завершать предложения и генерировать текст на основе заданных подсказок [23]. ChatGPT использует обучение с подкреплением на основе обратной связи с человеком - метод обучения, который сочетает в себе сильные стороны обучения с контролем, обучения с подкреплением и человеко-машинных подходов для повышения производительности моделей искусственного интеллекта [24,25].

Для простых вопросов по медицине эталонным стандартом был медицинский эксперт, разработавший тест, который был подкреплен руководящими рекомендациями. Для клинических случаев эталонным стандартом была клиническая консультация, предоставленная лечащим врачом или консультируемым экспертом, и последующее клиническое течение пациента. Два исследователя также проверяли рекомендации, сравнивая их с рекомендациями руководства.

Тестовые задания: простые вопросы

Для тестовых вопросов использовали 5 быстрых тестов Medscape по кардиологии, чтобы собрать десять вопросов по каждой из следующих тем: острый коронарный синдром, лёгочная и венозная тромботическая эмболия, фибрилляция предсердий, сердечная недостаточность и управление сердечно-сосудистыми рисками https://reference.medscape.com/index/section_10360_0

Тестовые примеры: краткие описания кейсов.

Двадцать кратких описаний кейсов были получены путем случайной выборки клинических случаев, которые были представлены в общественный медицинский центр в Амстердаме. Кейсы ограничивались консультациями, которые либо касались симптомов возможного сердечного происхождения (боль в груди, одышка или учащённое сердцебиение), либо касались вопросов, касающихся диагностики или лечения пациентов с распространёнными сердечно-сосудистыми заболеваниями. Были отобраны 10 случаев консультаций пациента с врачом и 10 случаев консультаций врача общей практики (ВОП) с кардиологом/экспертом.

Результаты

Простые вопросы по сердечно-сосудистой системе

Из вопросов на 37 из 50 (74%) были даны правильные ответы. Как показано на рисунке 1, наблюдались незначительные различия в точности по ишемической болезни сердца (8/10), тромботической эмболии легких и вен (8/10), фибрилляции предсердий (7/10), сердечной недостаточности (8/10) и управления сердечно-сосудистыми рисками (6/10). Примеры неверных утверждений включали продолжительность двойной антитромбоцитарной терапии после острого коронарного синдрома (ОКС, ACS), где в ChatGPT неверно указано, что (1) подавляющее большинство эпизодов фибрилляции предсердий (AF, Atrial fibrillation) связаны со значительными симптомами, (2) у большинства пожилых пациентов с сердечной недостаточностью (Heart Failure, HF) снижена фракция выброса, (3) неправильное измерение артериального давления в качестве порога для артериальной гипертензии (стадия 2), и (4) нормальный сердечно-лёгочный стресс-тест с 6-минутной ходьбой составляет 600 футов (приблизительно 180 метров), что граничит с порогом тяжёлой сердечной дисфункции. Однако ChatGPT дал много правильных ответов, например, что следует использовать гепарин в качестве антикоагулянта во время беременности, исходя из его профиля безопасности для плода.

Рисунок 1. Эффективность ChatGPT в правильных ответах на медицинские тесты по ключевым аспектам распространённых сердечно-сосудистых заболеваний (n=50).

Сокращения: CAD-ИБС (острый коронарный синдром и лечение атеросклероза коронарных артерий); PE/VTE - эмболия лёгочной артерии и венозная тромбоэмболия; AF - фибрилляция предсердий; HF - сердечная недостаточность; CVRM - факторы сердечно-сосудистого риска и лечение. По оси Y - правильные ответы (%)

Кейсы, касающихся пациентов, обращающихся в первичную медицинскую помощь с жалобами на сердце

На рисунке 2 в качестве примеров приведены характеристики пациентов и их вопросы, по которым они обращались к своему лечащему врачу. Вопросы были связаны с тем, должны ли симптомы быть поводом для беспокойства и консультации с лечащим врачом, вопросы об использовании лекарств, а также об изменениях в поведении, начиная от диеты и заканчивая возобновлением активности после инфаркта миокарда. В целом, ChatGPT дал рекомендации, которые соответствовали фактически представленным рекомендациям врача (9/10). Было отмечено одно серьёзное несоответствие, - ChatGPT рекомендовал использовать тромболитические средства в качестве вторичных профилактических препаратов у пациентов с предшествующим инфарктом миокарда (ИМ). Хотя тромболитикам есть место в острой фазе (в условиях, когда недоступно первичное чрескожное коронарное вмешательство, Percutaneous coronary intervention, PCI), этим препаратам нет места при хроническом лечении пациентов после инфаркта миокарда.

Рисунок 2. Простые вопросы пациента к лечащему врачу

Краткие описания случаев, когда врачи обращаются за консультацией к специалисту

На рисунке 3 в качестве примеров приведены вопросы, которые врачи общей практики отправляют для цифровой консультации с экспертом (кардиолог, терапевт). Эти вопросы были  отправлены в ChatGPT, где модель из 10 вопросов правильно ответила на пять (50%) в соответствии с рекомендациями эксперта. Два ответа (20%) частично совпали, один вопрос (10%) был неубедительным, а два ответа были неправильными (20%).

Рисунок 3. Примеры кейсов, когда врачи обращаются за консультацией к специалисту

Обсуждение

Гипотеза проекта заключалась в том, что способность модели обрабатывать и понимать вводимые данные на естественном языке и способность хранить клиническую информацию позволят ей извлекать соответствующую информацию и генерировать потенциальные диагнозы на основе сообщаемых симптомов. Относительно простые медицинские вопросы, поступающие от пациентов, обращающихся за первичной медико-санитарной помощью, могут быть успешно решены в подавляющем большинстве случаев. Однако ChatGPT был недостаточен для решения медицинских вопросов врачей, которые консультировались со своими коллегами-экспертами. Это говорит о том, что ChatGPT не был хорошо обучен работе с данными такого типа и, возможно, не понял нюансы контекста медицинских вопросов.

Таким образом, сильной стороной этого исследования является то, что использовали два подхода (простые вопросы и кейсы различной сложности) для оценки точности ChatGPT в решении медицинских вопросов. Несмотря на малые выборки, удалось увидеть закономерности в показателях: ChatGPT хорошо работает, если задаются вопросы с множественным выбором, а также если пациенты задают более простые вопросы своему лечащему врачу.

Модель труднее отвечала на более сложные медицинские вопросы, поэтому в будущем необходимы междисциплинарные исследования, чтобы определить подходящее место для ChatGPT при быстром  осваивании этой технологии в здравоохранении. Важно учитывать риски, связанные с недетерминированностью, непрозрачностью и возросшей централизацией LLM, и стремиться к большей отчётности при их разработке и использовании.

В перспективе эта технология может быстро и точно идентифицировать возможные заболевания, основываясь на симптомах пациента и медицинских записях. Если пациенты получат прямой доступ к технологии, то это может побудить их своевременно обращаться за медицинской помощью, что приведёт к более быстрым и точным диагнозам и планам лечения. С точки зрения врачей, проводивших исследование, ChatGPT можно было бы использовать для консультирования по медицинским решениям, благодаря его способности анализировать большие объёмы медицинских данных для выявления закономерностей, влияющих на решения о диагностике или лечении.

Будучи вероятностной языковой моделью, ChatGPT может генерировать разные результаты для идентичных входных данных. Это затрудняет оценку эффективности работы, выявления предубеждений и может вызывать беспокойство в медицинских приложениях, где точность и согласованность имеют решающее значение. Разработка и внедрение таких недетерминированных языковых моделей в здравоохранении должно предполагать сотрудничество между экспертами в таких областях, как медицина, информатика, этика и юриспруденция.

2. Возможности GPT-4 в решении задач медицинского образования

Мотивация исследования [26] состояла в изучении эффективности моделей для решения задач, разработанных для оценки компетенций студентов-медиков и врачей-ординаторов. Ставилась задача всесторонней оценки эффективности GPT-4, разработанного компанией OpenAI, на 1-3 этапах экзамена по медицинскому лицензированию в Соединенных Штатах (USMLE) https://openai.com/gpt-4.

Решением задачи были готовые показатели производительности для GPT-4 на официальных образцах экзаменов и материалах для самооценки.

Метод

В то время как GPT-4 поддерживает мультимодальные возможности [27], в работе фокусируются на текстовой версии модели, -GPT-4 (no vision).

Наборы данных и решаемые задачи

Чтобы оценить GPT-4, были рассмотрены шесть наборов данных, которые охватывают различные аспекты медицинских знаний и рассуждений. Два из этих наборов данных,- выборочный экзамен USMLE и самооценки USMLE, получены непосредственно от Национального совета медицинских экспертов (NBME), остальные четыре набора данных, MedQA, PubMedQA, MedMCQA и MMLU, являются общедоступными контрольными показателями, которые содержат вопросы, основанные на медицинской литературе, клинических случаях и пользовательском контенте MultiMedQA [28]. Чтобы установить базовую производительность модели и обеспечить справедливые сравнения, мы используем точно такую же структуру подсказок, как [28].

В процессе исследования следовало измерить исходные показатели GPT-4 по медицинским вопросам с множественным выбором (multiple-choice questions MCQs) с использованием простого подхода, не прибегая к подсказкам [29], использовать расширенный поиск [30] или стратегии объединения [31], которые значительно повышают производительность LLMs в медицинских MCQ [28,29]. Однако результаты показали, что GPT-4 может достигать отличных результатов даже без этих методов, превосходя как уровень производительности человека, так и других моделей, использующих сложные методы подсказывания.

Результаты

GPT-4 демонстрирует значительное улучшение в точности ответов  по сравнению со своими предшественниками в вопросах официального экзамена USMLE, именно, более чем на 30% на экзаменах по сравнению с GPT-3.5. Более того, GPT-4 демонстрирует столь же сильное улучшение показателей производительности ChatGPT по сравнению с аналогичными показателями популярного варианта GPT-3.5 оптимизированного для взаимодействия в чате [32].

Таблица 4.

Сравнение эффективности моделей на самооценке USMLE

* Рассчитано как #правильный ответ/#все вопросы на всех трех этапах. Каждый этап имеет разный размер  выборки.

Таблица 5.

Сравнение производительности моделей на выборочном экзамене USMLE. Этот набор данных из [32]. GPT-4 значительно превосходит как GPT-3.5, так и независимо зарегистрированные показатели ChatGPT

* Рассчитано как #правильный ответ/#все вопросы на всех трех этапах. Каждый этап имеет немного разный размер выборки.

Эффективность модели GPT-4 (без изображений) на самооценке USMLE и выборочном экзамене особенно удивительна, поскольку на обоих экзаменах часто используются элементы мультимедиа (графики, фотографии, диаграммы), которые не передаются модели. Хотя GPT-4 лучше справляется с вопросами, содержащими только текст, он хорошо (70-80% точности) отвечает на вопросы, используя элементы мультимедиа. Объясняется это тем, что модель GPT-4, ориентированная только на текст, часто способна использовать логические рассуждения и стратегии прохождения тестов для выбора разумного варианта ответа (Таблица 6).

Таблица 6.

Точность в вопросах с изображениями и графиками, по сравнению с точностью в вопросах с чистым текстом

Исследования на четырёх известных бенчмарках MedQA, PubMedQA, MedMCQA и MMLU также обнаружили, что GPT-4 хорошо справляется со сложными вопросами, представленными на неанглийских языках.

Оценка достоверности ответов LLM

Достоверность GPT-4 является мерой соответствия между прогнозируемыми вероятностями правильности каждого ответа и истинными частотами результатов. Проверка вероятности правильности ответов или любых утверждений, сгенерированных LLM, имеет решающее значение для приложений в медицине. Хорошо проверенная модель может обеспечить надёжные и интерпретируемые вероятности, которые отражают достоверность модели.

Таким образом, достоверность генерируемого контента важна в диагностике и построения планов лечения. Например, вероятность того, что лечение будет успешным, может быть использована при расчёте ожидаемого значения, взвешивающего риски и преимущества курса терапии. Что касается будущих применений LLM в медицине, то хорошо выверенные вероятности генерируемого контента позволят оптимизировать принятие решений об ожидаемой полезности результатов LLM. Понятно, что хорошая достоверность — это не то же самое, что высокая точность прогнозирования, поскольку прогнозирующие модели могут быть точными, но плохо проверенными [33].

На рисунке 4 показано сравнение достоверности GPT-4 и GPT-3.5 в обоих официальных наборах данных USMLE. Из рисунка видно, что GPT-4 демонстрирует значительно лучшую достоверность для этого типа данных, чем его предшественник. Например, точки данных, которым GPT-4 присваивает среднюю вероятность 0,96, как правило, оказываются правильными в 93% случаев. Напротив, точки данных, которым GPT-3.5 присваивает аналогичную вероятность, являются правильными только в 55% случаев.

Помимо того, что GPT-4 хорошо справляется с экзаменационными вопросами с множественным выбором, он способен давать учащимся подробные объяснения их ошибок. Модель также демонстрирует способность выдвигать гипотезы о том, почему учащийся, возможно, допустил ошибку, и даже проводит контрфактический анализ, предоставляя варианты клинического случая с минимальными изменениями, чтобы помочь смоделировать альтернативные сценарии.

В долгосрочной перспективе GPT-4 может быть использован для оптимизации ежедневных потоков работы врачей, чтобы снизить нагрузку на программные, материально-технические и административные задачи. Сокращение рутинной работы по составлению отчетов и выполнению других административных задач позволило бы медицинским работникам уделять больше времени исключительно человеческим аспектам профессии, таким как координация и сотрудничество с коллегами-медиками. Технология также могла бы предоставить врачам больше времени для обучения, и продолжения медицинского образования. Кроме того, LLM можно было бы использовать для предоставления информации, коммуникации, скрининга и поддержки принятия решений в регионах со слабым медицинским обслуживанием. Эти модели могли бы помочь повысить компетентность ассистентов врачей и помочь в сортировке пациентов и общении с удаленными экспертами.

Рисунок 4. Сравнение достоверностей GPT-4 и GPT-3.5 по результатам самооценки USMLE и выборочного экзамена.

Таким образом, сравнительная оценка GPT-4, GPT-3.5 на экзаменах на медицинскую компетентность, в которой изучалась эффективность ответов на вопросы, основанные исключительно на тексте, в сравнении с вопросами, относящимися к визуальным средствам показала, что GPT-4 значительно превосходит GPT-3.5. Удалось показать способность GPT-4 рассуждать о концепциях, включая объяснение, контрафактные рассуждения, дифференциальную диагностику и тестирование стратегии.

Заключение

Таким образом, что ChatGPT хорошо работает, когда пациентом задаются вопросы с выбором вариантов ответов, а также когда пациенты задают более простые вопросы своему лечащему врачу. Однако, модель затруднялась отвечать на более сложные медицинские вопросы и поэтому необходимы междисциплинарные исследования, чтобы выяснить место ChatGPT в здравоохранении, которое начинает осваивать эту новую технологию. Важно учитывать риски, связанные с недетерминированностью, непрозрачностью и возросшей централизацией языковых моделей, таких как ChatGPT, и стремиться к большей подотчетности при их разработке и использовании, особенно в критическом и чувствительном контексте здравоохранения.

Главный вывод исследования по применению GPT-4 на экзаменах USML состоит в том, что хорошие показатели GPT-4 демонстрируют его потенциал для использования в медицинском образовании и для оказания помощи медицинским работникам во многих аспектах оказания медицинской помощи. Учитывая возможность ошибок и трудности при оценке эффективности в реальных сценариях, важно оценивать технические инновации для оптимизации преимуществ и снижения рисков в данной области.

Однако, есть риски внедрения языковых моделей обоего типа, представленных в обзоре. Языковые модели следует использовать для создания системы клинических знаний, которая может обеспечить поддержку в области здравоохранения и принятия клинических решений, а также улучшить уход за пациентами при нехватке квалифицированных кадров.

Список литературы:

1. Floridi L, Chiriatti M. GPT-3: its nature, scope, limits, and consequences. Minds Machines. 2020; 30:681–694.
2. Robert S Ledley and Lee B Lusted. Reasoning foundations of medical diagnosis: Symbolic logic, probability, and value theory aid our understanding of how physicians reason.Science, 130(3366):9–21, 1959.
3. G Anthony Gorry and G Octo Barnett. Experience with a model of sequential diagnosis.Computers and Biomedical Research, 1(5):490–507, 1968.
4. David E. Heckerman, Eric Horvitz, and Bharat N. Nathwani. Toward normative expert systems: Part I the Pathfinder project. Methods of Information in Medicine, 31:90 – 105,1992.
5. Ramesh S Patil, Peter Szolovits, and William B Schwartz. Causal understanding of patient illness in medical diagnosis. In IJCAI, volume 81, pages 893–899, 1981.
6. Jenna Wiens, John Guttag, and Eric Horvitz. Patient risk stratification with time-varying parameters: a multitask learning approach. The Journal of Machine Learning Research,17(1):2797–2819, 2016.
7. Katharine E Henry, David N Hager, Peter J Pronovost, and Suchi Saria. A targeted real-time early warning score (trew score) for septic shock. Science translational medicine, 7(299):299ra122–299ra122, 2015.
8. Gabriel J Escobar, Vincent X Liu, Alejandro Schuler, Brian Lawson, John D Greene,and Patricia Kipnis. Automated identification of adults at risk for in-hospital clinical deterioration. New England Journal of Medicine, 383(20):1951–1960, 2020.
9. Rich Caruana, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, and Noemie Elhadad. Intelligible models for healthcare: Predicting pneumonia risk and hospital 30-day readmission.In Proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining, pages 1721–1730, 2015.
10. Andre Esteva, Brett Kuprel, Roberto A Novoa, Justin Ko, Susan M Swetter, Helen M Blau, and Sebastian Thrun. Dermatologist-level classification of skin cancer with deep neural networks. nature, 542(7639):115–118, 2017.
11. Harini Suresh, Nathan Hunt, Alistair Johnson, Leo Anthony Celi, Peter Szolovits, and Marzyeh Ghassemi. Clinical intervention prediction and understanding with deep neural networks. In Machine Learning for Healthcare Conference, pages 322–337. PMLR, 2017.
12. Pranav Rajpurkar, Jeremy Irvin, Kaylie Zhu, Brandon Yang, Hershel Mehta, Tony Duan, Daisy Ding, Aarti Bagul, Curtis Langlotz, Katie Shpanskaya, et al. Chexnet:Radiologist-level pneumonia detection on chest x-rays with deep learning. arXiv preprint arXiv:1711.05225, 2017.
13. Scott Mayer McKinney, Marcin Sieniek, Varun Godbole, Jonathan Godwin, Natasha Antropova, Hutan Ashrafian, Trevor Back, Mary Chesus, Greg S Corrado, Ara Darzi, et al.International evaluation of an AI system for breast cancer screening. Nature, 577(7788):89–94, 2020.
14. Jens Kleesiek, Yonghui Wu, Gregor Stiglic, Jan Egger, and Jiang Bian An Opinion on ChatGPT in Health Care—Written by Humans Only https://doi.org/10.2967/jnumed.123.265687
15. Yang X, Chen A, PourNejatian N, et al. A large language model for electronic health records. NPJ Digit Med. 2022;5:194.
16. SynGatorTron: a large clinical natural language generation model for synthetic data generation and zero-shot tasks. NVIDIA website. https://www.nvidia.com/en-us/on-demand/session/gtcspring22-s41638/. Published March 2022. Accessed March 20, 2023.
17. Creswell A, Shanahan M, Higgins I. Selection-inference: exploiting large language models for interpretable logical reasoning. arXiv website. https://arxiv.org/abs/2205.09712. Published May 19, 2022. Accessed March 20, 2023.
18. Tafjord O, Mishra BD, Clark P. Entailer: answering questions with faithful and truthful chains of reasoning. arXiv website. https://arxiv.org/abs/2210.12217 .Published October 21, 2022. Accessed March 20, 2023.
19. Kazemi SM, Kim N, Bhatia D, Xu X, Ramachandran D. LAMBADA: backward chaining for automated reasoning in natural language. https://arxiv.org/abs/2212.13894 Published December 20, 2022. Accessed March 20, 2023.
20. Адылова Ф.Т. Икрамов А.А.,Тригулова Р.Х Оценка течения заболевания сердечно-сосудистой системы при помощи нейронных сетей и алгоритма Загоруйко Журнал теоретической и клинической медицины ,2017,№ 2,стр.29-31
21. Адылова Ф.Т., Кузиев Б.Н., Давронов Р.Р. Искусственный интеллект как основа цифровой терапии диабета // Universum: технические науки : электрон. научн. журн. 2023.1(106). URL:https://7universum.com/ru/tech/archive/item/14836
22. Ralf E. Harskamp, Lukas De Clercq Performance of ChatGPT as an AI-assisted decision support tool in medicine: a proof-of-concept study for interpreting symptoms and management of common cardiac conditions (AMSTELHEART-2) medRxiv preprint; https://doi.org/10.1101/2023.03.25.23285475
23. Aung YYM, Wong DCS, Ting DSW. The promise of artificial intelligence: a review of the opportunities and challenges of artificial intelligence in healthcare. British Medical Bulletin 2021;139:1:4-15.
24. Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback. https://arxiv.org/pdf/2203.02155.pdf
25. Stiennon N, Ouyang L, Wu J, et al. Learning to summarize from human feedback. https://arxiv.org/pdf/2009.01325.pdf
26. Harsha Nori1, Nicholas King, Scott Mayer McKinney,Dean Carignan1, and Eric Horvitz Capabilities of GPT-4 on Medical Challenge Problems 1https://doi.org/10.48550/arXiv.2303.13375)
27. Open 23OpenAI. Gpt-4 technical report, 2023
28. Karan Singhal, Shekoofeh Azizi, Tao Tu, S Sara Mahdavi, Jason Wei, Hyung Won Chung,Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, et al. Large languagemodels encode clinical knowledge. arXiv preprint arXiv:2212.13138, 2022.
29. Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models.arXiv preprint arXiv:2201.11903, 2022
30. Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al.Webgpt: Browser-assisted question-answering with human feedback. arXiv preprint arXiv:2112.09332, 2021
31. Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, and Denny Zhou. Self consistency improves chain of thought reasoning in language models. arXiv preprint arXiv:2203.11171, 2022.
32. Tiffany H Kung, Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon,Camille Elepa˜no, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo,et al. Performance of chatgpt on usmle: Potential for ai-assisted medical education usinglarge language models. PLOS Digital Health, 2(2):e0000198, 2023.
33. Alexandru Niculescu-Mizil and Rich Caruana. Predicting good probabilities with supervised learning. In Proceedings of the 22nd international conference on Machine learning,pages 625–632, 2005.