Hinweis: Dies ist nicht die aktuelle Version des Berichts!

Skinive hat die Genauigkeit des neuronalen Netzes im Jahr 2021 verbessert und die Daten veröffentlicht. Die aktuelle Version des Berichts finden Sie unter dem Link – https://skinive.com/skinive-accuracy2021/

Inhaltsübersicht

• ABSTRACT

1. EINLEITUNG
2. SKINIVE-ALGORITHMUS ZUR ANALYSE VON HAUTLÄSIONSBILDERN
   2.1 Nosologien und Klassen
   2.2 Architektur des neuronalen Netzes
   2.3 Datensicherheit
3. MATERIALIEN UND ERGEBNISSE

• SCHLUSSFOLGERUNG
• REFERENZEN
• AI EXPERTENBERICHT
• MEDIZINISCHES FACHGUTACHTEN

Analyse der Genauigkeit des Skinive-Algorithmus zur Risikobewertung von Hautkrankheiten auf der Grundlage von Algorithmen des maschinellen Lernens.

Autoren: K.Atstarov, A.Lian, V.Shpudeiko, A.Ahushevich, I.Lichko

Zusammenfassung

Hintergrund

Algorithmen des maschinellen Lernens für die medizinische Bildverarbeitung erreichen inzwischen die Genauigkeit von Experten und werden aktiv in die medizinische Praxis eingeführt. Es gibt jedoch keine objektive
Bewertung des Einsatzes von maschinellem Lernen zur Klassifizierung von Hautläsionen in einer Reihe von Smartphone-Anwendungen. Der Mangel an objektiven Methoden und offenen Datensätzen für die Bewertung dieser
Algorithmen (wie z. B. bei Imagenet für die allgemeine Objekterkennung in Bildern) erschwert eine objektive Bewertung durch Fachleute und behindert den breiten Einsatz dieser Technologie im öffentlichen Gesundheitswesen.
Gesundheit.

Zielsetzung

In dieser Studie wird die Genauigkeit der Skinive-Algorithmen experimentell bewertet und mit der zuvor veröffentlichten Studie zur Bewertung des Hautkrebsrisikos(1*) verglichen.

Methoden

In dieser Veröffentlichung werden die Ergebnisse unseres Smartphone-Anwendungssystems im Detail vorgestellt. Skinive verwendet einen Algorithmus des maschinellen Lernens, um die Risikobewertung von Hautkrankheiten zu berechnen. Der Algorithmus
wurde auf 63.955 Bildern trainiert. Alle Bilder des Datensatzes wurden von Dermatologen auf ihr Risiko hin bewertet.

Um die Empfindlichkeit des Algorithmus zu bewerten, werden 3 Validierungsdatensätze verwendet:

(Prä-)maligne – 285 Fälle von Hautkrebs und präkanzerösen Zuständen;

HPV – 285 Fälle von Humanen Papillomaviren;

Akne – 285 Fälle von Akne, Milien, Rosazea.

Wir berechnen die Spezifität anhand eines separaten Sets mit 6000 gutartigen Fällen.

Ergebnisse

Um ein Experiment zu simulieren, bereiteten die Autoren Validierungsdatensätze mit einer ähnlichen Verteilung der Anzahl von Bildern nach Nosologie vor und verwendeten das neuronale Netz Skinive, um die Bilder zu analysieren und die Risikostufen zu klassifizieren, ähnlich wie im folgenden Beispiel:

Empfindlichkeitsgrad: 89,1% – Neoplasmen, 79,6% – HPV, 86,3% – Akne
Spezifität: 95,3%

* Die Sensitivität ist definiert als das Verhältnis zwischen der Anzahl der durch den Algorithmus korrekt ermittelten Fälle von Hautpathologie (Krebsvorstufen und bösartige Tumore, Akne und HPV) und der Anzahl aller klinisch bestätigten Fälle.

** Die Spezifität ist gleich der Anzahl der vom Algorithmus korrekt als risikoarm eingestuften gutartigen Fälle (echt negative Fälle), geteilt durch die Gesamtzahl aller klinisch bestätigten gutartigen Fälle.
Die oben erzielten Ergebnisse entsprachen in Bezug auf die relevanten Klassenverteilungen und die Gesamtzahl der Fälle genau dem in 1 * vorgeschlagenen Versuchsaufbau.

Schlussfolgerungen

Die Ergebnisse der Genauigkeit des neuronalen Netzes sind mit der in Studien (5 *, 6 *) erzielten Genauigkeit von Dermatologen vergleichbar und können als Expertensystem zur Unterstützung der Annahme einer medizinischen Entscheidung betrachtet werden.

Die Ergebnisse der vergleichenden Analyse können nicht eindeutig interpretiert werden und können nicht vollständig zuverlässig sein, da in den Datensätzen Daten aus verschiedenen Quellen verwendet wurden. Das Fehlen offener Daten (Fotos) und ein gemeinsamer Ansatz zur Validierung von Entscheidungen verschiedener Hersteller ermöglichen kein unabhängiges Benchmarking, das zur Bestätigung der Wirksamkeit der Methode im Allgemeinen und zum objektiven Vergleich bestehender Lösungen erforderlich ist. Nichtsdestotrotz sind die oben erzielten Ergebnisse auf Augenhöhe mit medizinischen Fachleuten und können mit zusätzlichen Daten und optimierten Algorithmen weiter verbessert werden.

Das Fehlen offener Validierungsdatensätze (Bilder) und ein gemeinsamer Ansatz verschiedener Entwickler bei der Entscheidungsvalidierung erlauben es ihnen nicht, ein unabhängiges Benchmarking durchzuführen, das notwendig ist, um die Wirksamkeit der Methode im Allgemeinen und den objektiven Vergleich bestehender Lösungen zu bestätigen.

Künftige Forschungsarbeiten sind erforderlich, um die Rolle und die Auswirkungen mobiler Anwendungen auf das Gesundheitssystem und seine Nutzer zu definieren und die Umsetzung gemeinsamer Methoden zur Bewertung der Wirksamkeit mobiler Anwendungen für die Bewertung des Risikos von Hautkrankheiten weiter zu erörtern.

P.S.

Wir sind offen für die Zusammenarbeit mit anderen Datenwissenschaftler-Teams und können auf Anfrage Zugang zu unserem validierten Datensatz gewähren.

Wir sind bereit, eine vollständige Version unserer Studie für die folgenden Zwecke zur Verfügung zu stellen:

• Veröffentlichungen in medizinischen Fachzeitschriften und Printmedien;
• Begutachtung durch medizinische und technische Experten;
• Partner, Firmenkunden, Investoren (unter NDA-Bedingungen bis zum Zeitpunkt der offiziellen Veröffentlichung in offenen Quellen).

Сontact us in einer bequemen Weise

Hinweis: Dies ist nicht die aktuelle Version des Berichts!

Skinive hat die Genauigkeit des neuronalen Netzes im Jahr 2021 verbessert und die Daten veröffentlicht. Die neueste Version des Berichts ist unter dem Link – https://skinive.com/skinive-accuracy2021/ – verfügbar.

Reviews

Vladimir Nedovic

Technical Director at Rockstart AI Accelerator
15 years of experience with automated image analysis and data science

ie in diesem Artikel beschriebene Forschungsarbeit wurde von den Autoren während des Rockstart AI Acceleration Programms in ’s Hertogenbosch, Niederlande, durchgeführt. Der Zweck der Studie war dreifach:

1. Identifizierung eines repräsentativen und ausgewogenen Satzes von Bildern, der allen Forschern zur Verfügung gestellt werden kann, die Computer Vision und maschinelles Lernen zur Klassifizierung von Hautläsionen einsetzen.
2. Schaffung eines Maßstabs für die Bewertung aller ähnlichen Methoden in diesem Bereich.
3. Vergleich der Skinive-Ergebnisse mit dem Stand der Technik auf diesem Gebiet auf der Grundlage des definierten Benchmarks und der Daten; Einordnung dieser Ergebnisse in den Kontext der Leistung von medizinischen Fachleuten.

Im Rahmen des Beschleunigungsprogramms hatte ich wöchentliche Sitzungen mit dem technischen Team von Skinive, um den Versuchsaufbau, die Zusammensetzung des Datensatzes, die Klassenverteilung und andere relevante Aspekte bei der Erstellung eines solchen Benchmarks zu überwachen. Soweit ich weiß, erfüllt der Benchmark alle notwendigen Kriterien und ist daher ein guter Kandidat für einen goldenen Standard für andere Forscher auf diesem Gebiet, um die Leistung ihrer Algorithmen zu testen.

In addition, the authors and I rigorously inspected results of all the experiments, including those shown in this report. The authors went to great lengths to ensure that these results are not only optimal for their use-case, but also comparable to state-of-the-art in the field as well as human medical experts.

Zum Artikel „Analyse der Genauigkeit des Skinive-Algorithmus für die Risikobewertung von Hautkrankheiten, basierend auf Algorithmen des maschinellen Lernens“. (Autoren: K.Atstarov, A.Lian, V.Shpudeiko, A.Ahushevich, I.Lichko).

Dieser Artikel ist einem dringenden Problem der Dermatovenerologie gewidmet – der Untersuchung der Aussichten für den Einsatz von Algorithmen des maschinellen Lernens für die Verarbeitung medizinischer Bilder in der Medizin, die die Frühdiagnose von Haut-Onkopathologien verbessern werden. Ziel der Studie war es, die diagnostische Genauigkeit der mobilen Anwendung Skinive zu untersuchen und die Ergebnisse mit der zuvor veröffentlichten Arbeit von Skinvision B.V. zu vergleichen.

Als Ergebnis der Studien ermittelten die Autoren die Sensitivität (79,6%-89,1%) und Spezifität (93,5%) der mobilen Skinive-Anwendung, was auf ein hohes Niveau der Diagnosemethode hindeutet, wobei jedoch die Sensitivität für die Erkennung von Hautkrebs noch verbessert werden muss.

Schlussfolgerung: Dieser Artikel wurde auf hohem wissenschaftlichen Niveau verfasst. Die Struktur des Artikels spiegelt konsequent die Logik der Studie wider. Es ist anzumerken, dass der Artikel in einer klaren Sprache geschrieben ist und nicht mit hochspezialisierter Terminologie überfrachtet ist. Die Erkenntnisse der Autoren sind gut begründet. Die Ergebnisse der Arbeit können sowohl für Onkodermatologen, Dermatovenerologen als auch für Allgemeinmediziner von Nutzen sein.

Referenz:

1. Accuracy of a smartphone application for triage of  skin lesions based on machine learning algorithms
A. Udrea, G.D. Mitra, D. Costea, E.C. Noels, M. Wakkee, D.M. Siegel, JEADV; accepted for publication. T.M. de Carvalho, T.E.C. Nijsten. Published on September 08, 2019.
https://onlinelibrary.wiley.com/doi/10.1111/jdv.15935

2. Where machines could replace humans—and where they can’t (yet)
Michael Chui, James Manyika, and Mehdi Miremadi 
https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet

3. The practice of radiology needs to change
Giles Maskell. Published on June 19, 2017
http://blogs.bmj.com/bmj/2017/06/19/giles-maskell-the-practice-of-radiology-needs-to-change/

4. Using Deep Learning to Inform Differential Diagnoses of Skin Diseases
Yuan Liu, PhD, Software Engineer and Peggy Bui, MD, Google Health. Published on September 12, 2019
https://ai.googleblog.com/2019/09/using-deep-learning-to-inform.html

5. Assessing diagnostic skill in dermatology: a comparison between general practitioners and dermatologists.
Tran H1, Chen K, Lim AC, Jabbour J, Shumack S. Published in November, 2005
https://www.ncbi.nlm.nih.gov/pubmed/16197420

6. Comparison of dermatologic diagnoses by primary care practitioners and dermatologists. A review of the literature.
Federman DG1, Concato J, Kirsner RS. Published in April, 1999
https://www.ncbi.nlm.nih.gov/pubmed/10101989

7. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence.
Chatterjee P, Nagi N, Agarwal A, Das B, Banerjee S, Sarkar S, Gupta N,
Gangakhedkar RR. Published on March 30, 2020
https://www.ncbi.nlm.nih.gov/pubmed/32242874

8. Accuracy classification score.
scikit-learn developers (BSD License). Published in October, 2019
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy_score.html

9. CrossEntropyLoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#crossentropyloss

10. BCELoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#torch.nn.BCELoss

11. AWS GDPR Data Processing Addendum – Now Part of Service Terms
Chad Woolf. Published on May 22, 2018
https://aws.amazon.com/blogs/security/aws-gdpr-data-processing-addendum/

12. Navigating GDPR Compliance on AWS
Amazon Web Services, Inc. or its affiliates. Published in October, 2019
https://d1.awsstatic.com/whitepapers/compliance/GDPR_Compliance_on_AWS.pdf