Skinive Vergleichende Analyse 2021 – 2022

Die Autoren: Kirill S., Viktor S.

1. Einleitung

Hautkrankheiten sind die häufigste Ursache für alle menschlichen Erkrankungen. Fast 900 Millionen Menschen auf der Welt leiden an dieser Pathologie [1]. Weltweit sind mehr als 3000 Hautkrankheiten bekannt. Hautkrebs ist heute die häufigste Form bösartiger Neoplasien in der weißen Bevölkerung. Insbesondere das Melanom ist der Hautkrebs mit der schlechtesten Prognose [2]. Die Inzidenzrate von Melanomen und nicht-melanomem Hautkrebs steigt weltweit. In Europa ist in den nächsten Jahrzehnten mit Inzidenzraten von 40-50/100.000 Einwohner/Jahr zu rechnen [3]. Hautkrankheiten stellen eine finanzielle, sozioökonomische und psychologische Belastung für die Gesellschaft dar. Außerdem belasten Hautkrankheiten Allgemeinmediziner und Fachärzte. Statistischen Untersuchungen zufolge gibt es in den europäischen Ländern im Durchschnitt zu wenig Dermatologen. Sie liegt bei nur 5 pro 100.000 Einwohner [4].

Maßnahmen zur Früherkennung von Hautkrankheiten sind notwendig. Vielversprechend ist der Einsatz von Technologien des maschinellen Lernens. Dies wird von Chui bestätigt, der zeigte, dass in der Medizin 36 % der Funktionen automatisiert werden können. Insbesondere auf den Ebenen der Datenerfassung und -analyse [5]. Von besonderer Bedeutung bei der Entwicklung einer solchen Automatisierung ist die Ausarbeitung von mobilen Anwendungen. Die Apps sind sehr praktische Werkzeuge für den routinemäßigen und weit verbreiteten Einsatz in der klinischen Praxis.

Anwendungen für Mobiltelefone sind in der Dermatologie weit verbreitet. Denn die visuelle Komponente von Hautkrankheiten kann mit einer Handykamera leicht digitalisiert werden. Anschließend kann das Bild durch Algorithmen des maschinellen Lernens analysiert werden, um die Pathologie zu bestimmen. Auf der Grundlage der erzielten Ergebnisse erhält der Nutzer Empfehlungen für das weitere Vorgehen.

Das Potenzial der Apps für die KI-Erkennung von Hautkrankheiten ist besonders in Zeiten ungünstiger epidemiologischer Bedingungen von Bedeutung. Zum Beispiel bei der COVID-19-Pandemie, wenn persönliche Arztbesuche nicht möglich sind und die Bereitstellung von Gesundheitsdiensten aus der Ferne von besonderer Bedeutung ist [6].

1.1 Der Einsatz von künstlicher Intelligenz in der Dermatologie

Die Möglichkeiten des maschinellen Lernens bei der Erkennung und Differenzialdiagnose von Hautkrankheiten sind beeindruckend. Sie demonstrieren die Fähigkeit, Kliniker in ihrer täglichen Praxis zu unterstützen. Solche Lösungen dienen der Triage von Fällen, um die klinische Versorgung zu priorisieren, und helfen Nicht-Dermatologen dabei, die dermatologische Versorgung genauer einzuleiten. Und schließlich verbessern sie möglicherweise den Zugang zur notwendigen Versorgung.

Die Genauigkeit der Diagnose von Hautkrankheiten bei Allgemeinmedizinern und Dermatologen ist sehr unterschiedlich. So ergab die Studie, dass die Genauigkeit der Melanom-Erkennung bei Allgemeinmedizinern nur 0,49-0,80 beträgt. Bei Dermatologen erreicht dieser Indikator 0,85-0,89 [7].

In einer anderen Studie wurde die Genauigkeit der Erkennung von Hautpathologien zwischen einem Algorithmus für maschinelles Lernen und medizinischem Fachpersonal verglichen [8]. Die Studie zeigt, dass die Genauigkeit der neuronalen Netzdiagnose bei 90 % liegt (für die ersten drei Ergebnisse). Dies deutet darauf hin, dass die Genauigkeit von Algorithmen des maschinellen Lernens mit der von Dermatologen vergleichbar sein kann. Sie ist deutlich höher als die von Ärzten der Grundversorgung.

Ungeachtet der offensichtlichen Vorteile ist der Einsatz von Softwareprodukten zur Lösung so wichtiger Aufgaben wie der Erkennung von Hautkrankheiten Gegenstand von Kritik. Das Argument der Kritiker ist eine zweifelhafte Sensitivität und Spezifität sowie das Fehlen eines standardisierten Testansatzes unter den Herstellern, der eine Voraussetzung für eine objektive Beurteilung ist. Die Einführung solcher Lösungen in die klinische Praxis ist nur möglich, wenn es ein gut trainiertes neuronales Netz gibt [9]. Dies setzt eine Reihe von Aktivitäten voraus, darunter die Erstellung von Trainings- und Validierungsdatensätzen, das regelmäßige Neutrainieren des neuronalen Netzes, die Verbesserung der äußeren Hülle für eine bequeme Nutzung der mobilen Anwendung durch den Endbenutzer und andere [10].

Die Leistung bei der Verbesserung des Netzes und die erzielten Ergebnisse lassen sich am Beispiel des neuronalen Netzes Skinive veranschaulichen.

2. Materialien und Methoden zur Untersuchung der Skinive-Genauigkeit

2.1. Merkmale des neuronalen Netzes Skinive

Bei dem Skinive-Algorithmus handelt es sich um ein Modell aus vortrainierten vollfehlerkonvergenten dermatologischen neuronalen Netzen und Anwendungssoftware der neuronalen Netzumgebung, die sich in einer sicheren Cloud befinden und über einen API-Dienst in Anwendungen (Web-, Mobil- und andere Software) integriert werden.

Der Skinive-Algorithmus ist die Schlüsseltechnologie ähnlicher Anwendungen und ist ein Modell von vortrainierten dermatologischen neuronalen Netzen und Anwendungssoftware der neuronalen Netzumgebung, die sich in einer sicheren Cloud befinden und über einen API-Dienst integriert werden.

Die Genauigkeit der Skinive-Erkennungsalgorithmen wird durch die systematische Auffüllung der Datenbank mit Bildern von Hautpathologien sowie durch die Verbesserung des Verarbeitungsalgorithmus ständig verbessert. Jedes Bild wird, bevor es zum Training des Algorithmus gesendet wird, von einem Dermatologen klinisch getestet. Dank der engen Zusammenarbeit mit medizinischen Einrichtungen verfügen einige der Fälle, die zur Verbesserung der Genauigkeit des Software-Diagnosetests verwendet werden, über eine histologische Bestätigung.

2.2. Verbesserung des neuronalen Netzes Skinive im Jahr 2022

Von Januar 2022 bis Juli 2022 hat das neuronale Skinive-Netz eine Reihe von technischen und klinischen Verbesserungen erfahren.

Im Rahmen des „ELISE“-Programms wurden zur Verbesserung der Fähigkeiten des neuronalen Netzes folgende Arbeiten durchgeführt: das Gesichtsbildmodul wurde hinzugefügt (zum Zweck der Filterung persönlicher Daten vor der Verarbeitung), das Modul zur Bestimmung der Eignung für die Bildverarbeitung (zur Verbesserung der Gesamtgenauigkeit) und der Trainingsdatensatz wurde auf 54 604 Bilder von Hautpathologien erweitert.

Darüber hinaus wurde die Liste der vom neuronalen Netz Skinive erkannten Pathologien erweitert. Besonderes Augenmerk wurde dabei auf Pathologiegruppen wie Dermatitis und Ekzeme gelegt. Diese Pathologien sind nicht weniger relevant als Neoplasmen oder Hautinfektionen. Sie beeinträchtigen die Lebensqualität der Patienten erheblich und erfordern eine rechtzeitige Diagnose.

Zusätzlich zur Dermatitis ist es seit 2022 möglich, Versicolor von anderen pilzbedingten Hautläsionen und Akralnävus von pigmentierten Hautneoplasmen abzugrenzen. Diese Erkrankungen erfordern einen anderen Ansatz in der klinischen Praxis.

Somit beläuft sich die Gesamtzahl der Bilder im Skinive-Trainingsdatensatz für das 3. Quartal 2022 auf 164.142 Fotos von Hautkrankheiten. Die Anzahl der erkennbaren Hautpathologien hat 51 erreicht (Tabelle 1).

Tabelle 1 – Klassen der anerkannten Pathologie

the accuracy of the Skinive algorithm

Das Hauptprinzip der Arbeit im Jahr 2022 war nicht nur die quantitative, sondern auch die qualitative Verbesserung der Daten. Alle Daten, die für das Training des neuronalen Netzes verwendet wurden, durchliefen eine mehrstufige Prüfung auf Einhaltung der Bildqualität und eindeutige Interpretation durch medizinische Experten.

Im Juli 2022 wurde eine groß angelegte Arbeit durchgeführt, die es ermöglichte, neue Daten über die Ergebnisse der Genauigkeit der Hautpathologieerkennung durch das neuronale Netz Skinive 3.0 zu erhalten.

2.3 Bildung des Validierungsdatensatzes zur Untersuchung der Skinive-Genauigkeit

Um die Genauigkeit des Skinive-Algorithmus zu ermitteln, wurde eigens ein Validierungsdatensatz erstellt, der aus 25 688 Bildern von Hautpathologien besteht. Die Bilder des Validierungsdatensatzes wurden jedoch nicht für das Training des neuronalen Netzes verwendet. Jedes Bild wurde von einem Dermatologen und einem Onkologen hinsichtlich der Zugehörigkeit der dargestellten Pathologie zu einer bestimmten Klasse bewertet, wobei die Ergebnisse der histologischen Untersuchung berücksichtigt wurden.

Die Struktur des Validierungsdatensatzes entspricht der Struktur des Trainingsdatensatzes, mit Ausnahme von Dermatitis und Ekzem. Die beiden letztgenannten Klassen sind nicht im Validierungsdatensatz enthalten, da ihre Erkennung durch das neuronale Netz Skinive erst seit 2022 möglich ist und die Gesamtzahl der Fotografien dieser Krankheiten es uns nicht erlaubte, einen separaten Validierungsdatensatz in ausreichendem Umfang zu isolieren, um die Genauigkeit angemessen zu bewerten.

Der Validierungsdatensatz umfasst 7 Klassen von Hautkrankheiten. Eine detaillierte Beschreibung des Validierungsdatensatzes ist in Tabelle 2 zu finden.

Tabelle 2 – Skinive Validierungsdatensatz

the accuracy of the Skinive

Dieser Validierungsdatensatz wurde für die Analyse der Genauigkeit im Jahr 2021 verwendet, wodurch die Dynamik des Anstiegs der Indikatoren für Empfindlichkeit und Spezifität bestimmt werden konnte.

Zur Bestimmung der Empfindlichkeit des Algorithmus wurden Gruppen von Hautkrankheiten wie Akne und Rosazea, Papulosquamose, Mykose, Viruserkrankungen, Herpes, prämaligne und maligne Erkrankungen verwendet.

Zur Bestimmung der Spezifität des Algorithmus wurden 20982 Bilder von gutartigen Hautneoplasmen verwendet.

2.4. Sicherheit der Daten

Der Hardware- und Softwarekomplex basiert auf Lösungen von Amazon Web Services und besteht aus einer Reihe von virtuellen Servern, die von außen nicht zugänglich sind und durch Lösungen miteinander verbunden sind, die auf verschiedenen Softwareprodukten und -lösungen basieren, wie z. B. Docker, Amazon Elastic Container Services.

Skinive speichert keine personenbezogenen Daten, die zur Identifizierung eines bestimmten Nutzers verwendet werden können. Die Identifikation des Nutzers erfolgt über einen zufällig generierten Token, der im Gerät gespeichert ist und mit dem auf die Anwendung zugegriffen wird. Die gespeicherten Daten sind unpersönlich und lassen sich nicht dem tatsächlichen Nutzer des Systems zuordnen. Die vom Benutzer an den Server gesendeten Grafiken werden anonymisiert, indem alle Bilddienstinformationen (EXIF-Header usw.) entfernt werden.

Die Protokollierungsdienste der Infrastruktur speichern Informationen über schwerwiegende Anwendungsfehler, die ursprüngliche IP-Adresse der Anfrage, den Namen der aufgerufenen Funktion und die Version der Software des Benutzers.

3. Ergebnisse der Skinive-Genauigkeit

Der verwendete Validierungsdatensatz wurde im Jahr 2021 gebildet, um die Genauigkeit des neuronalen Skinive-Netzes intern zu testen. Die Ergebnisse wurden aufbewahrt und nie veröffentlicht.

Nachdem die erzeugten Validierungsdatensätze im Jahr 2022 zur Analyse an den Skinive-Algorithmus gesendet wurden, ergaben sich für jede der analysierten Klassen die folgenden Werte für Sensitivität und Spezifität (Tabelle 3):

Tabelle 3 – Skinive Neural Network Accuracy Results für 2022 und Vergleich mit ähnlichen Ergebnissen für 2021

the Skinive algorithm accuracy

In diesem Fall wurde die Sensitivität als das Verhältnis zwischen der Anzahl der durch den Algorithmus korrekt ermittelten Fälle von Hautpathologie (Akne und Rosazea, Papulosquamose, Mykose, Viruserkrankungen, Herpes, prämaligne + maligne) und der Anzahl aller klinisch bestätigten Fälle ermittelt. Das heißt, dieser Wert gibt den Anteil der wirklich positiven Fälle an, d. h. der Fälle, die vom Risikoalgorithmus richtig erkannt werden. Je höher die Sensitivität, desto geringer ist die Wahrscheinlichkeit, dass der Algorithmus eine risikoreiche Hautpathologie übersieht.

the accuracy of the Skinive algorithm

Die Spezifität im Bericht über die Skinive-Genauigkeit wurde definiert als das Verhältnis zwischen der Anzahl der vom Algorithmus korrekt identifizierten Fälle von gutartigen Hautneubildungen und der Anzahl aller klinisch bestätigten gutartigen Neubildungen. Dieser Wert gibt den Anteil der wirklich negativen Fälle an (d. h. der Fälle, in denen auf dem Foto kein hohes Risiko besteht). Je höher die Spezifität ist, desto geringer ist die Wahrscheinlichkeit, dass eine bösartige Pathologie fälschlicherweise vorhergesagt wird, obwohl sie nicht vorhanden ist, und desto weniger „Fehlalarme“ gibt es.

Fehlermatrix des Skinive

Um die Fehler des Algorithmus visuell zu verstehen und die Tendenz der falschen Erkennung durch das neuronale Netz zu erkennen, wurde eine Fehlermatrix erstellt (Tabelle 4), die die Verteilung der richtigen Antworten (nach Sensitivität) und der Fehler zwischen den Nosologieklassen wiedergibt.

Tabelle 4 – Fehlermatrix nach Krankheitsklassen

the Skinive algorithm accuracy

Kennzeichnung: Grüne Zelle ist korrekte Risikostufenvorhersage.

Die Gesamtsensitivität, Spezifität und Fehlerquote des Skinive-Algorithmus sind in Tabelle 5 dargestellt:

Tabelle 5 – Gesamtindikatoren des Skinive-Algorithmus für 2021 und 2022

Overall indicators of the Skinive algorithm

4. Diskussion über die Skinive-Genauigkeit

Dank des gesamten Komplexes der am neuronalen Netz Skinive durchgeführten Arbeiten war es möglich, eine Steigerung der Sensitivitäts- und Spezifitätsindikatoren für fast alle untersuchten Klassen von Neoplasmen und Hautkrankheiten zu erzielen.

So lag die Sensitivität für die Erkennung von präkanzerösen und bösartigen Neoplasmen im Jahr 2021 bei 82,6 %, während sie im Jahr 2022 96,3 % (+13,7 %) betrug, was eine deutliche Steigerung der Sensitivität darstellt.

Die erzielten Ergebnisse lassen den Schluss zu, dass die Maßnahmen zur Verbesserung des neuronalen Netzes Skinive sich in einer Verbesserung der Genauigkeit des Algorithmus bei der Erkennung von Hautkrebs niederschlagen. Eine rechtzeitige und genaue Erkennung ermöglicht eine wirksamere Behandlung dieser Pathologie. Es liegt auf der Hand, dass diese Pathologie unter dem Gesichtspunkt der Erhaltung des Lebens und der Gesundheit der Bevölkerung die größte Relevanz und Bedeutung hat.

Auch bei anderen Hautpathologien (Akne und Rosazea, Papulosquamose, Mykose, Viruserkrankungen und Herpes) ist eine signifikante Steigerung der Sensitivität von +3 bis +10% zu verzeichnen.

Die Ergebnisse zeigen, dass das neuronale Netz von Skinive empfindlicher auf Hautpathologie reagiert und weniger wahrscheinlich Situationen übersieht, in denen der Patient tatsächlich ärztliche Hilfe oder eine detailliertere Untersuchung mit anderen Mitteln (Dermatoskopie, Biopsie mit anschließender histologischer Untersuchung) benötigt.

Obwohl die allgemeine Spezifität des Algorithmus abgenommen hat, ist ein deutlicher Anstieg der Spezifität bei der Erkennung gutartiger Erkrankungen zu verzeichnen: 2021 lag sie bei 93,0 %, 2022 bei 98,2 % (+5,2 %). Aufgrund dieser Dynamik ist das neuronale Netz von Skinive weniger anfällig für „Fehlalarme“ geworden. Dank dieser Eigenschaft wird der Einsatz des neuronalen Netzes von Skinive die Zahl der ungerechtfertigten Arztbesuche verringern und gleichzeitig die übermäßige Belastung des medizinischen Personals reduzieren.

Analyse der Fehlermatrix

Eine detaillierte Analyse der Fehlermatrix zeigt, bei welchen Krankheiten und mit welcher Häufigkeit die größten Schwierigkeiten für den Skinive-Algorithmus bei der Differenzialdiagnose von Neoplasmen und Hauterkrankungen auftreten. Diese Werte können als Schlüsselergebnis für die Planung weiterer Arbeiten zur Verbesserung des neuronalen Netzes Skinive und zur Erhöhung der Genauigkeit des Algorithmus für einzelne Nosologien angesehen werden.

Aus der Fehlermatrix ist ersichtlich, dass der höchste Prozentsatz an Fehlern bei der Erkennung von Hautpathologien bei dem Paar „gutartig“ und „prämaligne + maligne“ zu verzeichnen ist: 5.9%. Die Fehleranalyse zeigte, dass das neuronale Netz den dysplastischen Naevus fälschlicherweise dem gutartigen Naevus zuordnete. Bei einem visuellen Vergleich (Abbildung 1) können in der Tat Schwierigkeiten bei der Differenzialdiagnose solcher Fälle auftreten.

Abbildung 1: Vergleich der Makrofotografie eines pigmentierten und eines dysplastischen Naevus

Diese klinischen Situationen erfordern eine genauere Differenzialdiagnose, einschließlich Dermatoskopie oder Biopsie mit histologischer Untersuchung.

Der Miss-Rate-Indikator

Der Miss-Rate-Indikator bestätigt den Rückgang der Zahl der übersehenen Hautpathologien. Im Jahr 2021 lag sie bei 7,0 %, im Jahr 2022 bei 1,8 % (-5,2 %). Das bedeutet, dass die Zahl der falschen Schlussfolgerungen („falsche Hoffnungen“) deutlich zurückgegangen ist. In absoluten Zahlen ging die Zahl der falsch-negativen Ergebnisse von 328 auf 86 zurück. Eine detailliertere Analyse der falsch-negativen Ergebnisse bei Hautkrankheiten findet sich in Tabelle 6.

Tabelle 6: Vergleichende Analyse der Fehlschlagquote für 2021 und 2022

the accuracy of the Skinive algorithm

СVergleicht man die Miss-Rate für die Jahre 2021 und 2022 im Bericht über die Skinive-Genauigkeit, wird eine globale Tendenz zur Abnahme der Zahl der Fehlinterpretationen bei der Erkennung der Hautpathologie deutlich. Darüber hinaus erlaubt uns dieser Vergleich, die Dynamik und Richtigkeit des Vektors der laufenden Arbeiten zur Verbesserung des neuronalen Netzes festzustellen.

Die positivsten Veränderungen traten in der Klasse prämaligne + maligne auf. Die Gesamtzahl der Fehler betrug im Jahr 2021 17,4 %, während sie im Jahr 2022 nur noch 3,7 % betrug (-13,7 %). Bei den anderen Klassen sank dieser Indikator von -3,4 auf -10,4 %.

Angesichts der Bedeutung einer rechtzeitigen und zuverlässigen Erkennung von Hautpathologierisiken deutet dieser Trend auf eine reale Möglichkeit hin, das neuronale Netz Skinive in der klinischen Praxis einzusetzen.

5. Schlussfolgerungen

Im Jahr 2022 wurde der Datensatz, auf dem der Skinive-Algorithmus trainiert wurde, um mehr als 50.000 Fotos von Hautpathologien erweitert. Ein wesentliches Merkmal all dieser Fotos war, dass die überwiegende Mehrheit von ihnen (90-95 %) mit einer Smartphone-Kamera ohne den Einsatz externer Optiken oder anderer spezieller Hilfsmittel (z. B. Dermatoskope) gemacht wurden.

Gleichzeitig zeigen die Ergebnisse der Analyse der Genauigkeit des neuronalen Netzes Skinive 3.0 (trainiert im Jahr 2022 auf insgesamt mehr als 160.000 Bildern) eine signifikante Steigerung der Sensitivität (korrekte Erkennung von Hautpathologien, wenn eine ärztliche Behandlung erforderlich ist) und der Spezifität (korrekte Bestimmung von gutartigen Neubildungen, wenn keine ärztliche Behandlung erforderlich ist) im Vergleich zu 2021.

Die Hinzufügung des Bildqualitätsmoduls ermöglichte ein frühzeitiges Screening von Bildern schlechter Qualität und verbesserte so die Qualität der für die Datensätze gesammelten Bilder, was sich direkt auf die endgültige Genauigkeit des Algorithmus auswirkte.

Angesichts der Konzentration des Skinive-Algorithmus auf Handy-Fotos im Jahr 2022 kann man sagen, dass dieses neuronale Netz besser an die reale klinische Praxis mit einer Smartphone-Kamera angepasst ist. Sicherlich können mobile Geräte mit einer installierten Skinive-App von Ärzten der Primärversorgung verwendet werden, um Hautpathologien mit großer Sicherheit zu erkennen. Dies wird durch die signifikante Verringerung der Anzahl der fehlerhaften Passagen der Hautpathologie bestätigt, wenn diese vom neuronalen Skinive-Netzwerk erkannt werden.

Referenzen:

  1. Andrews‘ diseases of the skin: clinical dermatology. James WD, Berger TG, Elston DM, Odom RB. Saunders Elsevier; 2006.
  2. Current state of melanoma diagnosis and treatment. Davis, L.E.; Shalin, S.C.; Tackett, A.J. Cancer Biol. Ther. 2019, 20, 1366–1379. https://doi.org/10.1080/15384047.2019.1640032
  3. Epidemiology of skin cancer. Ulrike Leiter, Thomas Eigentler, Claus Garbe. PMID: 25207363. DOI: 10.1007/978-1-4939-0437-2_7
  4. Augustin M, Reusch M, Augustin J, Wagner T, Kämpfe S. European dermatology health care survey. Short report. 2013 (https://www.dermasurvey.eu/wp-content/uploads/eu-derma-health-care-survey-2013-short.pdf)
  5. Chui M, Manyika J, Miremadi M. Where machines could replace humans – and where they can’t (yet) (https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet)
  6. Chatterjee, P., et al. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence. Indian J Med Res. 2020 Feb & Mar;151(2 & 3):147-159;]), as well as in remote areas [[04]. Health service provision in rural and remote areas: a needs analysis. P Dunne, C Patterson, M Kilmartin, M Sladden. PMID: 8028543. DOI: 10.5694/j.1326-5377.1994.tb127349.x
  7. Michael DC, Judy W. Agreement between dermatologists and primary care practitioners in the diagnosis of malignant melanoma: review of the literature. J Cutan Med Surg. Sep-Oct 2012;16(5):306-10
  8. Liu, Y., et al. A deep learning system for differential diagnosis of skin diseases. Nat Med 26, 900–908 (2020). https://doi.org/10.1038/s41591-020-0842-3
  9. Deep Learning Approaches for Prognosis of Automated Skin Disease. Pravin R. Kshirsagar, Hariprasath Manoharan, S. Shitharth, Abdulrhman M. Alshareef, Nabeel Albishry, and Praveen Kumar Balachandran. doi: 10.3390/life12030426. PMCID: PMC8951408. PMID: 35330177
  10. Machine Learning and Its Application in Skin Cancer. Kinnor Das, Clay J. Cockerell, Anant Patil, Paweł Pietkiewicz, Mario Giulini, Stephan Grabbe and Mohamad Goldust. PMCID: PMC8705277. DOI: 10.3390/ijerph182413409