Примечание: Это не текущая версия отчета!

В 2021 году Skinive повысила точность нейронной сети и опубликовала данные. Последняя версия отчета доступна по ссылке — https://skinive.com/skinive-accuracy2021/.

Оглавление

• КРАТКОЕ СОДЕРЖАНИЕ

1. ВВЕДЕНИЕ
2. АЛГОРИТМ SKINIVE ДЛЯ АНАЛИЗА ИЗОБРАЖЕНИЙ ПОРАЖЕНИЙ КОЖИ
   2.1 Нозологии и классы
   2.2 Архитектура нейронной сети
   2.3 Безопасность данных
3. МАТЕРИАЛЫ И РЕЗУЛЬТАТЫ

• ЗАКЛЮЧЕНИЕ
• ССЫЛКИ
• ЭКСПЕРТИЗА ИИ
• МЕДИЦИНСКАЯ ЭКСПЕРТИЗА

Анализ точности алгоритма Skinive для оценки риска кожных заболеваний на основе алгоритмов машинного обучения.

Авторы: К.Атстаров, А.Лиан, В.Шпудейко, А.Ахушевич, И.Личко

Аннотация

Общая информация

Алгоритмы машинного обучения для обработки медицинских изображений в настоящее время достигли экспертной точности и активно внедряются в медицинскую практику. Однако до сих пор не существует объективной
Однако объективная оценка использования машинного обучения для классификации повреждений кожи в ряде приложений для смартфонов отсутствует. Отсутствие объективных методик и открытых наборов данных для оценки этих
алгоритмов (как, например, в случае с Imagenet для общего распознавания объектов на изображениях) препятствует объективной оценке специалистами и широкому использованию этой технологии в здравоохранении.
здравоохранении.

Цель

В данном исследовании мы экспериментально оценили точность алгоритмов Skinive и сравнили их с ранее опубликованным исследованием по оценке риска рака кожи(1*).

Методы

В данной публикации подробно представлены результаты работы нашей системы приложений для смартфонов. Skinive использует алгоритм машинного обучения для расчета рейтинга риска кожных патологий. Алгоритм
обучен на 63 955 изображениях. Все изображения в наборе данных были оценены дерматологами на предмет риска.

Для оценки чувствительности алгоритма используются 3 валидационных набора данных:

1. (Пред)злокачественные — 285 случаев рака кожи и предраковых состояний;
2. ВПЧ — 285 случаев вируса папилломы человека;
3. Акне — 285 случаев акне, милиа, розацеа.

Специфичность рассчитывается на отдельном наборе, содержащем 6000 доброкачественных случаев.

Результаты

Для имитации эксперимента авторы подготовили валидационные наборы данных с аналогичным распределением количества изображений по нозологиям и использовали нейронную сеть Skinive для анализа изображений и классификации уровней риска, аналогично приведенному ниже примеру:

Уровень чувствительности: 89,1% — новообразования, 79,6% — ВПЧ, 86,3% — акне
Специфичность: 95,3 %

Результаты сравнительного анализа не могут быть интерпретированы однозначно и не могут быть полностью достоверными, так как в наборах данных использовались данные из разных источников. Отсутствие открытых данных (фотографий) и единого подхода к валидации решений от разных производителей не позволяют провести независимый бенчмаркинг, необходимый для подтверждения эффективности метода в целом и объективного сравнения существующих решений. Тем не менее, результаты, полученные выше, находятся на одном уровне с медицинскими специалистами и могут быть улучшены с помощью дополнительных данных и более оптимизированных алгоритмов.

Отсутствие открытых валидационных наборов данных (изображений) и единый подход различных разработчиков к валидации решений не позволяют им провести независимый бенчмаркинг, необходимый для подтверждения эффективности метода в целом и объективного сравнения существующих решений.

Необходимы дальнейшие исследования для определения роли и оценки влияния мобильных приложений на систему здравоохранения и ее пользователей, а также для дальнейшего обсуждения внедрения общих методологий оценки эффективности мобильных приложений для оценки риска кожных заболеваний.

P.S.

Мы открыты для совместных исследований с другими командами датасиентистов и можем предоставить доступ к нашему валидированному набору данных по запросу.

Мы готовы предоставить полную версию нашего исследования для следующих целей:

• публикации в медицинских журналах и печатных изданиях;
• рецензии медицинских и технических экспертов;
• партнерам, корпоративным клиентам, инвесторам (на условиях NDA до момента официальной публикации в открытых источниках).

Свяжитесь с нами удобным способом

Примечание: Это не актуальная версия отчета!

В 2021 году Skinive повысила точность нейросети и опубликовала данные. Последняя версия отчета доступна по ссылке — https://skinive.com/skinive-accuracy2021/.

Reviews

Vladimir Nedovic

Technical Director at Rockstart AI Accelerator
15 years of experience with automated image analysis and data science

Исследовательская работа, описанная в этой статье, была проведена авторами во время акселерационной программы Rockstart AI в Хертогенбосе, Нидерланды. Цель исследования была тройной:

1. Определить репрезентативный и сбалансированный набор изображений, который может быть доступен всем исследователям, использующим компьютерное зрение и машинное обучение для классификации повреждений кожи.
2. Создать эталон для оценки всех аналогичных методов в этой области.
3. Сравнить результаты работы Skinive с современными достижениями в этой области на основе определенного эталона и данных; поместить эти результаты в контекст работы медицинских специалистов.

В рамках программы акселерации я еженедельно общался с технической командой Skinive, наблюдая за экспериментальной установкой, составом набора данных, распределением классов и другими аспектами создания такого эталона. Насколько мне известно, эталон удовлетворяет всем необходимым критериям и, таким образом, является хорошим кандидатом на роль золотого стандарта для других исследователей в этой области при проверке производительности их алгоритмов.

Alexandra Aniskevich

Assistant of the Department of Skin and Sexually Transmitted Diseases at the Belarusian State Medical University,
Work experience: since 2009

О статье «Анализ точности алгоритма Skinive для оценки риска кожных заболеваний, основанный на алгоритмах машинного обучения». (Авторы: К.Атстаров, А.Лиан, В.Шпудейко, А.Ахушевич, И.Личко).

Данная статья посвящена актуальной проблеме дерматовенерологии — изучению перспектив использования в медицине алгоритмов машинного обучения для обработки медицинских изображений, что позволит улучшить раннюю диагностику онкопатологий кожи. Целью исследования было изучение диагностической точности мобильного приложения Skinive и сравнение полученных результатов с ранее опубликованной работой компании Skinvision B.V.

В результате исследований авторы установили чувствительность (79,6-89,1 %) и специфичность (93,5 %) мобильного приложения Skinive, что свидетельствует о высоком уровне диагностического метода, однако существует необходимость повышения уровня чувствительности для выявления рака кожи.

Заключение: Статья написана на высоком научном уровне. Структура статьи последовательно отражает логику исследования. Следует отметить, что статья написана понятным языком, не перегружена узкоспециализированной терминологией. Выводы авторов хорошо обоснованы. Результаты работы могут быть полезны онкодерматологам, дерматовенерологам, а также врачам общей практики.

Ссылки:

1. Accuracy of a smartphone application for triage of  skin lesions based on machine learning algorithms
A. Udrea, G.D. Mitra, D. Costea, E.C. Noels, M. Wakkee, D.M. Siegel, JEADV; accepted for publication. T.M. de Carvalho, T.E.C. Nijsten. Published on September 08, 2019.
https://onlinelibrary.wiley.com/doi/10.1111/jdv.15935

2. Where machines could replace humans—and where they can’t (yet)
Michael Chui, James Manyika, and Mehdi Miremadi 
https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet

3. The practice of radiology needs to change
Giles Maskell. Published on June 19, 2017
http://blogs.bmj.com/bmj/2017/06/19/giles-maskell-the-practice-of-radiology-needs-to-change/

4. Using Deep Learning to Inform Differential Diagnoses of Skin Diseases
Yuan Liu, PhD, Software Engineer and Peggy Bui, MD, Google Health. Published on September 12, 2019
https://ai.googleblog.com/2019/09/using-deep-learning-to-inform.html

5. Assessing diagnostic skill in dermatology: a comparison between general practitioners and dermatologists.
Tran H1, Chen K, Lim AC, Jabbour J, Shumack S. Published in November, 2005
https://www.ncbi.nlm.nih.gov/pubmed/16197420

6. Comparison of dermatologic diagnoses by primary care practitioners and dermatologists. A review of the literature.
Federman DG1, Concato J, Kirsner RS. Published in April, 1999
https://www.ncbi.nlm.nih.gov/pubmed/10101989

7. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence.
Chatterjee P, Nagi N, Agarwal A, Das B, Banerjee S, Sarkar S, Gupta N,
Gangakhedkar RR. Published on March 30, 2020
https://www.ncbi.nlm.nih.gov/pubmed/32242874

8. Accuracy classification score.
scikit-learn developers (BSD License). Published in October, 2019
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy_score.html

9. CrossEntropyLoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#crossentropyloss

10. BCELoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#torch.nn.BCELoss

11. AWS GDPR Data Processing Addendum – Now Part of Service Terms
Chad Woolf. Published on May 22, 2018
https://aws.amazon.com/blogs/security/aws-gdpr-data-processing-addendum/

12. Navigating GDPR Compliance on AWS
Amazon Web Services, Inc. or its affiliates. Published in October, 2019
https://d1.awsstatic.com/whitepapers/compliance/GDPR_Compliance_on_AWS.pdf