Исследователи выяснили, что точность работы нейросетей в медицине не всегда зависит от увеличения количества исходных данных, а в нескольких случаях их большее количество только ухудшает работу искусственного интеллекта. К такому выводу пришла группа ученых Пермского государственного национального исследовательского университета (ПГНИУ), сообщили ТАСС в пресс-службе Минобрнауки РФ.
© ТАСС
«Группа ученых Пермского университета провела исследование о том, как синтетические изображения влияют на точность медицинского искусственного интеллекта. Оказалось, что искусственное увеличение набора данных не гарантирует улучшения — результат зависит от архитектуры нейросети, состава исходных изображений и способа их преобразования», — сообщили в Минобрнауки России.
По словам исследователей из Физико-математического института ПГНИУ и Института проблем точной механики и управления РАН, они ставили своей целью проверить популярное представление о том, что чем больше разнообразных примеров увидит нейросеть во время обучения, тем надежнее она будет работать. Один из способов расширить обучающий набор — это немного повернуть, обрезать или отразить исходную фотографию, изменить ее яркость, контрастность или цветовой баланс. Для искусственного интеллекта это будет дополнительным примером.
О ходе эксперимента
Для эксперимента ученые использовали два открытых набора данных: первый включал 20 971 фотографию ног с хроническими заболеваниями вен, распределенную по семи классам международной системы CEAP, а второй состоял из 6 786 дерматологических изображений в восьми категориях.
Исследователи сравнили 12 архитектур нейросетей, включая классические сверточные модели и трансформеры. Объем обучающих данных увеличивали на разных уровнях — от 0 до 100%. Каждую конфигурацию запускали по 20 раз, чтобы оценить не только среднюю точность, но и устойчивость результата. Всего было проведено более 5 тыс. обучений.
«Эксперимент не подтвердил, что увеличение количества изображений одинаково полезно для всех моделей. Добавление 10% данных повысило точность только у трех из двенадцати нейросетей на основном наборе и у пяти из 12 нейросетей — на втором. Для остальных моделей результат не изменился или ухудшился. При максимальном расширении второго набора 10 из 12 моделей показали точность на 1–5 процентных пунктов ниже исходной», — сообщили в ПГНИУ.
Как пояснили в вузе, это не означает, что синтетические данные неэффективны сами по себе. Их польза зависит от архитектуры нейросети, состава исходного набора, способа преобразования изображений и особенностей задачи, иначе это может вызвать искажения. В медицинских же задачах это особенно важно, поскольку малозаметная деталь изображения может иметь диагностическое значение.
