Расшифровка анализа в чат-боте: почему нельзя верить диагнозам из ИИ

Зачем ходить к врачу, когда можно просто загрузить фотографию анализов в чат-бот и через минуту получить объяснение каждой цифры и все рекомендации? Вот только каким из этих объяснений можно верить? Об этом aif.ru рассказал инженер-программист, кандидат технических наук Антон Букарев.

Разные системы

Елена Нечаенко, aif.ru: Что происходит, когда пользователь загружает фотографию анализа в нейросеть?

Антон Букарев: Начну с главного: нейросеть не видит фотографию так, как видим мы. Она превращает изображение в массив чисел, с которым умеет работать, и ищет в нём шаблоны, выученные на данных, заложенных при обучении. Если говорить про бланк анализов, то тут друг за другом работают два механизма. Сначала система распознаёт текст: превращает картинку в цифры и слова. Потом языковая модель пытается истолковать таблицу.

Тут есть принципиальная разница. Медицинский ИИ — это не одна технология, есть специализированные и универсальные системы. Сейчас разрабатывают много нейросетей именно для медицины — их учат на специально подобранных массивах данных: историях болезней, снимках, результатах лабораторий. В руках врача такие системы реально полезны: они автоматизируют рутинную информацию, и иногда замечают то, что усталый и «замыленный» глаз врача пропустил. Но до обычного пользователя эти системы почти не доходят. Это нишевые инструменты для клиник и лабораторий, в открытом доступе их нет.

— А чем люди пользуются в быту? И как устроены эти системы?

— Для обычных людей — универсальные чат-боты. Их обучали на огромном массиве текстов, где рядом с рецензируемыми научными статьями лежат просто заметки с сайтов неизвестного происхождения. Полностью отсортировать такой массив, отделить зёрна от плевел, почти невозможно. Поэтому модель может уверенно воспроизвести чужую ошибку или заблуждение. Не зря под окном чата пишут: «модель может ошибаться, проверяйте важную информацию».

Ошибаются все

— Где чаще возникают ошибки: при распознавании изображения или объяснении результата?

— Ошибки бывают на обоих этапах, но выглядят они по-разному.

Ошибка распознавания — это когда перепуталась запятая (5,4 превратилось в 54), машина случайно «съела» минус, или значение взялось из соседней строки таблицы, или пропала единица измерения.

Ошибка объяснения — когда цифры прочитаны верно, но модель применила не тот референсный диапазон: не те границы нормы, не учла лабораторию, возраст или пол. Или просто «дорисовала» правдоподобное объяснение, которого на самом деле нет.

— Но почему ИИ может перепутать запятую, цифру, единицу измерения? Вроде бы рассеянность и невнимательность присущи лишь людям, а не машинам?

— Потому что для нейросети бланк — это картинка, а не осмысленная таблица. Человек видит бланк, где гемоглобин указан в граммах на литр, и сразу понимает: значения 5,4 тут быть не может, скорее всего, это 154. У модели такого «здравого смысла лаборанта» нет. Или он только частичный. Она подставит то, что статистически вероятнее по опыту, и не всегда честно скажет о сомнении.

Единицы измерения — отдельная ловушка. Часть показателей разные лаборатории приводят по-разному: в ммоль/л или мг/дл. Числа при этом различаются в разы, так что потерянная единица почти гарантирует неверную трактовку.

С терминами — своя история. В медицине полно похожих названий. Креатин и креатинин — это разные вещества с разными нормами. Смазанная буква на фотографии из-за блика от лампы во время фото — и модель легко превращают одно в другое, и вся трактовка уезжает не туда. То же самое, если вы случайно обрезали часть бланка, где указаны референсные значения. К тому же референсные диапазоны у каждой лаборатории — свои. Модель может «объяснить» ваш результат по чужой норме.

Поэтому следуйте простому правилу: фотографируйте бланк целиком, без наклона и бликов, при хорошем свете. А еще лучше загружайте PDF из личного кабинета лаборатории — там обычно текст, а не картинка, и распознавать его не нужно.

Разошлись во мнениях

— Почему разные нейросети по-разному объясняют один и тот же анализ?

— За разными сервисами стоят разные модели. Их обучали на разных данных, с разными настройками осторожности. Одна перестраховывается и советует врача, другая отвечает развернуто и уверенно. К тому же ответ каждый раз собирается заново, с долей случайности. Даже одна и та же система на один и тот же вопрос может ответить по-разному.

Но если два сервиса истолковали ваш анализ противоположно — это не значит, что один из них «правильный», а другой — нет. Это означает только то, что вопрос надо задавать врачу.

— В чем еще минус ИИ как диагноста?

— Модель работает только с теми данными, что вы ей сказали. И, в отличие от врача, не уточняет, сколько вам лет, что вы принимаете, и есть ли у вас хронические заболевания. А ведь один и тот же показатель у 20-летнего спортсмена и у пожилого человека, принимающего мочегонные, означает совершенно разное.

Первое, чему я учу инженеров: неполные данные на входе дают не приблизительный, а уверенно неправильный ответ. С моделью так же. Только у человека хотя бы срабатывает сомнение, а у ИИ их надо вытягивать отдельным вопросом.

— По каким признакам можно заподозрить, что нейросеть выдумала объяснение?

— Подозрения должны вызвать:

подозрительно гладкий, уверенный текст без единой оговорки;

упоминание показателей, которых в вашем бланке не было;

несуществующие термины или «нормы», которых вы не найдете ни в одном справочнике;

противоречия внутри ответа: в одном абзаце этот показатель «в норме», в другом — «повышен»;

постановка готового диагноза по одному-единственному отклонению в анализах.

При проверке программ мы специально ищем места, где система отвечает уверенно, но неверно. Самый простой способ — задать тот же вопрос дважды, в разных формулировках. Слова могут отличаться, это нормально. Но если во второй раз поменялись цифры, нормы или сам вывод — перед вами «выдумщик».

Кстати, универсальный прием: попросите систему указать, откуда взят каждый вывод. На выдуманных местах она обычно «плывет».

Много на себя берёте

— Верить ли ИИ, который назначает препараты или предлагает изменить дозировку?

— Языковая модель генерирует правдоподобный текст, но ответственности за ваше здоровье не несет. У чат-бота нет ни аудита, ни лицензии, ни медицинского диплома. Он не видит вас, не проводил осмотр, не знает полной картины

Мне нравится аналогия с калькулятором. Его появление не отменило умения считать — но позволило ускорить счет тому, кто понимает, что именно надо посчитать.

Медицинский ИИ — такой же калькулятор, только в руках врача: он ускоряет работу и подстраховывает. А что надо «посчитать», и что делать с результатом — решает тот кто несет ответственность за пациента. Просить ИИ назначить препарат — это как доверять калькулятору решить, как и сколько денег вам стоит потратить.

— Значит, от помощи ИИ следует отказаться? И по старинке идти к врачу?

— Нейросесть — полезный инструмент, но использовать его надо правильно. Например, готовясь к очередному чекапу и описывая нейросети свое самочувствие, можно попросить ИИ задать вам уточняющие вопросы. И только после ваших ответов на них просите сделать выводы. Допустим, скажите: «Меня беспокоит то-то и то-то. Задай мне уточняющие вопросы, а потом подскажи, какие анализы стоит сдать, и к какому специалисту записаться, чтобы первый прием был максимально эффективным». Картина сразу становится полнее. Модель сама не спросит, чего ей не хватает, но охотно поможет, если правильно попросить.

Если в сданных вами анализах окажутся отклонения, можно загрузить результаты в модель, попросив ее собрать все в аккуратный документ — самочувствие, наблюдения, результаты — и принести распечатку врачу, честно сказав, что готовился к приёму с нейросетью. Врач назначил лечение, которое вполне может совпасть с тем, что предполагала модель. Но узнать об этом совпадении можно единственным способом: услышав назначение специалиста.

Нейросеть хороша тем, что может сэкономить на первом визите к врачу, который обычно целиком уходит на получение направлений. А решение о лечении всё равно принимает доктор, который видит пациента и отвечает за результат. Вот это, по-моему, и есть разумная модель использования ИИ.

Шпион, выйди вон

— Многие опасаются ИИ, полагая, что он может своровать персональные данные. Какие из них нужно скрыть перед загрузкой документа?

— Замазывайте до загрузки ФИО, дату рождения, номера полиса и паспорта, адрес, телефон. И обязательно штрих-коды и QR-коды на бланке. Про них многие забывают, а именно в них зашит номер заказа, по которому восстанавливается и личность, и вся история анализов. Самим цифрам анализа анонимность не вредит. Модель истолкует их одинаково — с фамилией или без.

— Как проверить, сохраняет ли конкретный сервис загруженные медицинские документы?

— Откройте политику конфиденциальности и ищите ответы на главные вопросы: хранятся ли загруженные файлы и как долго, используются ли они для обучения моделей, можно ли потребовать их удаления. У серьезных сервисов обычно есть настройка «не использовать мои данные для обучения» — если она предусмотрена, включите. Обратите внимание, где обрабатываются данные: на устройстве или на сервере, и в какой стране этот сервер стоит.

И практический тест: запросите удаление своих данных. По скорости и внятности ответа сразу видно, как сервис к ним относится. Зрелый сервис пишет конкретно, что он хранит, сколько, зачем и как это удалить. Расплывчатые формулировки почти всегда означают, что порядка за ними нет. Если политики конфиденциальности нет вовсе — медицинские документы туда загружать не стоит.

Резюме такое: не отправляйте в нейросети свои персональные данные. Пред загрузкой вычищайте из документов фамилию, даты, номера и штрих-коды. И относитесь ко всему, что вы куда-либо отправили, как к информации, которая потенциально может стать доступной широкому кругу лиц. И главный вывод: нейросеть — помощник, который экономит время вам и врачу. А решения о вашем здоровье принимает врач.