Clustering

Wissenschaftliche Berichte Band 13, Artikelnummer: 12701 (2023) Diesen Artikel zitieren

Details zu den Metriken

Maschinelles Lernen wird in der digitalen Pathologie zunehmend eingesetzt, um die Nierenfunktion zu beurteilen und die zugrunde liegende Ursache chronischer Nierenerkrankungen (CKD) zu diagnostizieren. Wir haben einen neuartigen Rechenrahmen entwickelt, die Clustering-basierte räumliche Analyse (CluSA), der unbeaufsichtigtes Lernen nutzt, um räumliche Beziehungen zwischen lokalen visuellen Mustern im Nierengewebe zu lernen. Dieses Framework minimiert den Bedarf an zeitaufwändigen und unpraktischen Expertenanmerkungen. 107.471 histopathologische Bilder aus 172 Biopsiekernen wurden für das Clustering und das Deep-Learning-Modell verwendet. Um räumliche Informationen über die geclusterten Bildmuster in der Biopsieprobe zu integrieren, haben wir geclusterte Muster räumlich mit Farben kodiert und eine räumliche Analyse über ein graphisches neuronales Netzwerk durchgeführt. Zur Vorhersage von CKD wurde ein zufälliger Waldklassifikator mit verschiedenen Merkmalsgruppen verwendet. Für die Vorhersage der eGFR bei der Biopsie erreichten wir eine Sensitivität von 0,97, eine Spezifität von 0,90 und eine Genauigkeit von 0,95. Die AUC betrug 0,96. Für die Vorhersage von eGFR-Änderungen innerhalb eines Jahres erreichten wir eine Sensitivität von 0,83, eine Spezifität von 0,85 und eine Genauigkeit von 0,84. Die AUC betrug 0,85. Diese Studie stellt die erste räumliche Analyse vor, die auf unbeaufsichtigten maschinellen Lernalgorithmen basiert. Ohne Expertenkommentare kann das CluSA-Framework nicht nur den Grad der Nierenfunktion bei der Biopsie und in einem Jahr genau klassifizieren und vorhersagen, sondern auch neue Prädiktoren für die Nierenfunktion und die Nierenprognose identifizieren.

Eine chronische Nierenerkrankung (CKD) geht mit einem allmählichen Verlust der Nierenfunktion einher und lässt sich im Frühstadium erst im fortgeschrittenen Stadium erkennen. Nach Angaben der Centers for Disease Control and Prevention leiden schätzungsweise mehr als 37 Millionen Menschen (15 % der Erwachsenen in den USA) an einer chronischen Nierenerkrankung (CKD), und bis zu 9 von 10 Erwachsenen mit CKD wissen nicht, dass sie an CKD1 leiden. Diabetes, Bluthochdruck, Herzerkrankungen und Nierenversagen in der Familienanamnese sind die häufigsten Ursachen für Nierenerkrankungen. Derzeit ist CKD, das mehr Todesfälle verursacht als Brustkrebs oder Prostatakrebs, die neunthäufigste Todesursache in den USA1.

Da das Ausmaß der Nierenfunktionsstörung mit einer erhöhten Mortalität und einem erhöhten Risiko für Herzerkrankungen verbunden ist2,3 ist eine frühzeitige und genaue Diagnose von entscheidender Bedeutung, um das Fortschreiten zum Nierenversagen zu verlangsamen4. Aktuelle typische Messungen der Nierenfunktion und des Progressionsrisikos wie Kreatininspiegel im Blut und Protein im Urin5,6 unterliegen mehreren Einschränkungen und sind bei höheren Nierenfunktionswerten nicht genau7. Obwohl Nierenbiopsieproben weitere prognostische Informationen liefern können, z. B. den Grad der glomerulären Sklerose und der interstitiellen Fibrose8, werden sie häufig visuell beurteilt und die Interpretation kann von Pathologe zu Pathologe unterschiedlich sein. Computergestützte Algorithmen können eine objektivere Nierenbeurteilung ermöglichen und dabei helfen, die erhebliche Variabilität zwischen Beobachtern zu überwinden.

Mehrere Deep-Learning- und Machine-Learning-Ansätze für die histopathologische Bildanalyse werden mit der zunehmenden Verfügbarkeit digitaler Ganzbildscanner immer häufiger eingesetzt9. Coudray et al. nutzten Convolution Neural Networks (CNN) auf Whole-Slide-Bildern (WSI), um sie in Lungenadenokarzinom (LUAD), Lungenplattenepithelkarzinom (LUSC) oder normales Lungengewebe zu klassifizieren10. Außerdem wurde CNN auf WSI angewendet, um sklerosierte und nicht sklerosierte Glomeruli zu klassifizieren11,12. Kolachalama et al. haben gezeigt, dass CNN-Deep-Learning-Modelle den vom Pathologen geschätzten Fibrose-Score bei allen Klassifizierungsaufgaben übertreffen können und auf routinemäßige Nierenbiopsiebilder angewendet werden können13.

Bisher basieren die meisten Algorithmen für maschinelles Lernen und Deep Learning, die auf histopathologische Bilder angewendet werden, auf überwachten (Trainings-)Ansätzen. Überwachte Algorithmen erfordern jedoch die Verwendung einer großen Menge gekennzeichneter Trainingsdaten, was eine zeitaufwändige, oft unpraktische und teure Aufgabe ist. Um dieses Problem zu lösen, wurden in mehreren Studien Methoden wie schwach überwachtes Lernen und Multiple-Instance-Learning (MIL) vorgeschlagen, die eine relativ hohe Leistung erbrachten14,15,16,17,18. Allerdings handelt es sich hierbei immer noch um überwachte Methoden, für die eine Kennzeichnung auf Patientenebene erforderlich ist.

Die räumliche Analyse der Gewebemikroumgebung und der Zellorganisation erfreut sich mit Multiplex-Färbung und fortschrittlichen Visualisierungstechniken immer größerer Beliebtheit19. Die Untersuchung des räumlichen Kontexts in digitalen histopathologischen Bildern ist der Schlüssel zum Verständnis der Heterogenität der Mikroumgebung mit klinischen Auswirkungen20. In den letzten Jahren haben Graph Neural Networks (GNNs)21 bahnbrechende Leistungen in verschiedenen Deep-Learning-Anwendungen wie dem Graph Convolutional Network (GCN)22, dem Deep Graph Convolutional Network (DGCNN)23 und dem Graph Attention Network (GAT)24 gezeigt.

Das Hauptziel dieser Studie bestand darin, ein neuartiges Rechengerüst vorzuschlagen, das keine Expertenkommentare erfordert, und den räumlichen Kontext histopathologischer Bilder durch CluSA mit GNN zu untersuchen. Wir gehen davon aus, dass das Hinzufügen räumlicher Nachbarschaftsinformationen, die ein wichtiges charakteristisches Merkmal aller Formen von CKD sind, zur Clusteranalyse dazu beitragen kann, die Leistung des Vorhersagemodells zu verbessern. Die gesamte Rechenpipeline dieser Studie ist in Abb. 1 zusammengefasst.

Gesamtworkflow. (a) Biopsiekernbild; (b) geclusterte Patches, die unter Verwendung eines k-Means-Clustering-Algorithmus erhalten wurden; (c) Histogramm der Cluster; (d) farbcodierte Karte, bestehend aus geclusterten Patches; (e) Diagrammdarstellung, konvertiert aus der farbcodierten Karte; und (f) DGCNN-Modell, das eine Vorhersage auf Kernebene ausgibt. Der normalisierte flächengewichtete Score (aw-Score) wurde mit der Fläche jeder Kernbiopsieprobe für die Vorhersage auf Patientenebene berechnet. (g) Der Random-Forest-Machine-Learning-Klassifikator wurde mit verschiedenen Merkmalsgruppen verwendet, wie z. B. aw-Scores, der Anzahl geclusterter Patches oder Knoten, klinischen Merkmalen und Merkmalen des Polynom-Anpassungskoeffizienten.

In dieser Studie haben wir ein neuartiges rechnergestütztes Ensemble-Framework für maschinelles Lernen vorgeschlagen, die Clustering-basierte räumliche Analyse (CluSA), das sowohl unbeaufsichtigte als auch überwachte Methoden des maschinellen Lernens nutzt, um Patientenergebnisse vorherzusagen und wichtige Muster oder Merkmale zu identifizieren, die mit dem Niveau von verbunden sind Nierenfunktion und Progressionsrisiko. Das unbeaufsichtigte maschinelle Lernen mithilfe einer Clustering-Methode lernt aus einem unbeschrifteten Datensatz und findet automatisch Strukturen oder Muster in den Daten, indem es nützliche Merkmale extrahiert25, und das überwachte maschinelle Lernen mithilfe der Diagrammanalyse lernt räumliche Informationen durch Nachbarschaftsbeziehungen zwischen benachbarten Strukturen oder Mustern in den Daten.

Der Datensatz bestand aus menschlichen Probanden, die in der C-PROBE-Kohorte eingeschrieben waren, einer multizentrischen Kohorte von Patienten mit CKD, die unter der Schirmherrschaft des George O'Brien Kidney Center an der University of Michigan (https://kidneycenter.med.umich.edu) eingerichtet wurde /clinical-phenotyping-resource-biobank-core). Ziel der C-PROBE war die Sammlung hochwertiger Daten und Bioproben für translationale Studien, die von den Institutional Review Boards der University of Michigan Medical School (IRBMED) mit der Genehmigungsnummer HUM00020938 genehmigt wurden. C-PROBE rekrutiert Patienten zum Zeitpunkt der klinisch indizierten Biopsie und verfolgt sie prospektiv mit phänotypischen Daten. Die schriftliche Einverständniserklärung wurde von allen Probanden und/oder ihren Erziehungsberechtigten eingeholt.

Insgesamt wurden 107.471 histopathologische Bilder (256 × 256 Pixel) im Clustering und im Deep-Learning-Modell verwendet. Alle Bilder wurden aus 172 Biopsiekernen aus 57 Fällen in Form von Trichrom-gefärbten Objektträgern gewonnen. Diese Studie wurde in Übereinstimmung mit den einschlägigen Richtlinien und Vorschriften durchgeführt und durchgeführt. Die Formel der Chronic Kidney Disease Epidemiology Collaboration (CKD-EPI) wurde zur Berechnung der geschätzten glomerulären Filtrationsrate (eGFR)7,26 verwendet.

In der modernen digitalen Pathologie ist die Fleckennormalisierung eine wichtige Verarbeitungsaufgabe für computergestützte Diagnosesysteme (CAD). In dieser Studie verwendeten wir die Reinhard-Farbnormalisierung für alle WSI-Daten (Whole-Slide-Imaging) als Vorverarbeitungsschritt, um Verwechslungen aufgrund von Farb- und Intensitätsschwankungen der Bilder zu vermeiden und die Recheneffizienz und -leistung zu erhöhen27. Der Reinhard-Normalisierungsalgorithmus ordnet die Farbverteilung des gefärbten Bildes der eines Referenzbildes zu, indem er eine lineare Transformation in einem wahrnehmungsbezogenen Farbraum verwendet. Wir haben den globalen Mittelwert und die Standardabweichung jedes Kanals im Lab-Farbraum für alle Daten berechnet und sie als Referenzwerte zur Normalisierung unserer Daten verwendet. Abbildung S1 in den Zusatzmaterialien zeigt ein Beispiel für Daten mit fleckennormalisierten Bildern.

Die Merkmalsextraktion ist ein wichtiger Schritt beim Clustering und zielt darauf ab, relevante Informationen zu extrahieren, die jedes Bildmuster charakterisieren. Bei diesem Prozess werden relevante Merkmale aus Bildern extrahiert, um Merkmalsvektoren zu bilden, die zur Gruppierung von Bildmustern basierend auf Ähnlichkeitsmaßen verwendet werden. Es gibt verschiedene Methoden zur Merkmalsextraktion wie Histogram of Oriented Gradients (HOG), Scale Invariant Feature Transformation (SIFT), Speeded-Up Robust Features (SURF) und Features from Accelerated Segment Test (FAST)28,29. In dieser Studie verwendeten wir zur Merkmalsextraktion eine der beliebtesten Methoden des maschinellen Lernens, das Transferlernen30,31,32. Transferlernen ist besonders in der medizinischen Bildanalyse für Deep Learning beliebt, wo die Daten für das Training nicht ausreichen33,34,35. Beim Transferlernen wird ein vorab trainiertes Deep-Learning-Modell verwendet, bei dem ein Modell für eine Aufgabe entwickelt und als Ausgangspunkt für ein Modell für eine andere verwandte Aufgabe wiederverwendet wird36.

Wir haben DeepLab V3+ mit ResNet-18-Architektur37,38 verwendet, vorab auf ImageNet39 trainiert. Wir haben an diesem vorab trainierten Deep-Learning-Modell eine Merkmalsextraktion durchgeführt, die es dem Eingabebild ermöglicht, sich vorwärts zu verbreiten und die Ausgaben der spezifischen Ebene als unsere Merkmale zu übernehmen. Wir haben Merkmale aus einer Schicht (res5b) von ResNet-1840 extrahiert, einer Decoderstruktur, die Teil tiefer neuronaler Netze für die semantische Segmentierung ist, DeepLab V3+.

Wir haben einen der beliebtesten und einfachsten unbeaufsichtigten Algorithmen für maschinelles Lernen namens K-Means-Clustering verwendet, der Gruppierungen anhand von Ähnlichkeits- oder Distanzmaßen bildet. Zunächst wurde die optimale Anzahl von Datenclustern K anhand des Silhouette-Algorithmus in MATLAB geschätzt (ergänzende Abbildung S2). Anschließend wurde der K-Means-Clustering-Algorithmus auf die Merkmalsvektoren für jede Bildkachel angewendet, die aus allen Bildern der Patienten erhalten wurden, um Clusterindizes, Schwerpunktpositionen und Abstände von jedem Punkt zu jedem Schwerpunkt zu erhalten. Anschließend erstellten wir die Histogrammdarstellung für jeden Fall auf der Grundlage der jedem Punkt zugewiesenen Beschriftungen der nächstgelegenen Schwerpunktgruppe, was zu 9 visuellen Mustergruppenfächern für das Histogramm führte. Die Häufigkeit im Cluster-Histogramm gibt an, wie oft jedes geclusterte Bildmuster in jedem Fall auftritt. Dieses Auftreten oder diese Häufigkeit für jedes visuelle Muster wurde als Merkmal zur Vorhersage der eGFR des Patienten verwendet. Zur Berechnung der eGFR7,26 wurde die Formel der Chronic Kidney Disease Epidemiology Collaboration (CKD-EPI) verwendet. Die Reihenfolge der Cluster auf der x-Achse des Clusterhistogramms wurde mithilfe der mehrdimensionalen Skalierung (MDS) ermittelt. Mit MDS können wir in Histogrammdiagrammen visualisieren, wie nahe Gruppen zueinander liegen, indem wir die Ähnlichkeit zwischen geclusterten visuellen Mustergruppen mit den euklidischen Abständen berechnen.

In dieser Studie haben wir die Funktion entwickelt, die die Anpassung einer nichtlinearen Beziehung zwischen den lokalen visuellen Mustern und der Häufigkeit jedes Musters beschreibt, und die Anpassungskoeffizienten des 4. Polynoms als zusätzliche Funktion zur Vorhersage der Patientenergebnisse verwendet. Wir haben die 4. Polynomanpassung auf das Häufigkeitshistogramm angewendet und für jeden Fall fünf Koeffizienten erhalten.

wobei c1, c2, …, c5 die Koeffizienten der 4. Polynomfunktion f(x) sind. Diese Polynomanpassung an das Histogramm (ergänzende Abbildung S3) lieferte Gesamtinformationen oder einen Trend zu allen Häufigkeitsmerkmalen des Histogramms.

In dieser Studie haben wir ein Clustering-basiertes räumliches Analyse-Framework unter Verwendung eines Graph-Deep-Learning-Modells entwickelt, um Schlüsselmerkmale visueller Muster aus der Ganzdia-Bildgebung (WSI) von Nierenbiopsien zu extrahieren. Um räumliche Informationen über die geclusterten Bildmuster auf der Biopsieprobe zu integrieren, haben wir geclusterte visuelle Muster auf den ursprünglichen Biopsiebildern räumlich mit Farben kodiert. Die vom K-Means-Clustering-Algorithmus erhaltenen Clusterindizes können verwendet werden, um die ursprüngliche Position jeder Bildkachel in der Biopsieprobe zu ermitteln. Diese räumlich farbcodierten visuellen Muster können als Knotenpunkte für die räumliche Analyse betrachtet werden. Um in dieser Studie die räumliche Nachbarschaftsbeziehung zwischen geclusterten Bildmustern in Biopsieproben zu ermitteln, verwendeten wir ein hochmodernes graphisches neuronales Netzwerkmodell namens DGCNN-Modell41.

Das DGCNN besteht aus vier Graph-Faltungsschichten, einer Sortier-Pooling-Schicht, zwei eindimensionalen Faltungsschichten, einer Max-Pooling-Schicht und einer vollständig verbundenen Schicht. Die Darstellung eines gesamten Diagramms kann durch Summieren der Darstellungsvektoren aller Knoten im Diagramm mit einem DGCNN-Algorithmus erhalten werden (Abb. 2).

DCGNN-Architektur. (a) Biopsie-Kernbild. (b) Cluster-Farbkarte. (c) Diagrammdarstellung der geclusterten Farbkarte. (d) DCGNN-Architektur. Das DCGNN-Modell bestand aus vier Graph-Faltungsschichten, einer Sortier-Pooling-Schicht, zwei eindimensionalen Faltungsschichten, einer Max-Pooling-Schicht und einer vollständig verbundenen Schicht.

Die Diagrammdarstellung als Eingabe des DGCNN wurde aus der räumlichen Position visueller Patches unter Verwendung seiner Adjazenz- und Knotenmerkmalsmatrizen generiert. Die Knotenmerkmale wurden mithilfe von MDS ermittelt, das die Unähnlichkeit zwischen geclusterten visuellen Mustergruppen mit den euklidischen Abständen berechnet, um zu zeigen, wie nahe geclusterte visuelle Mustergruppen zueinander liegen. Das DCGNN gibt eine Klassenvorhersage für jedes Biopsiekernbild aus. Da jeder Patient über mehrere Biopsiekerne verfügt, haben wir einen normalisierten aw-Score für die Vorhersage auf Patientenebene erfunden, der die normalisierte Größe jeder Kernbiopsieprobe in die entsprechende Klassenvorhersage (1 oder − 1) einbezieht und diese aw-Scores dann zu summiert Erhalten Sie das Ergebnis auf Patientenebene durch Gl. (2).

Dabei ist P eine Ausgabe der vorhergesagten Klasse entweder 1 oder − 1 von GDCNN für jeden Biopsiekern. n ist die Anzahl der Biopsiekerne bei jedem Patienten. A ist die normalisierte Fläche jedes Biopsiekerns. Der aw-Score ist für jeden Kern als \(A \times P\) definiert. Wir führten eine dreifache Kreuzvalidierung durch, stratifiziert nach Patienten (Tabellen 2, 3), für DGCNN mit aufgelisteter Fläche und Vorhersage von DGCNN für jeden Kern sowie aw-Scores für alle Patienten, die aus den Testsätzen einer dreifachen Kreuzvalidierung erhalten wurden. Für die räumliche Analyse mit GNN haben wir eine Python-Bibliothek für maschinelles Lernen auf graphstrukturierten Daten namens StellarGraph verwendet, die auf TensorFlow und der Keras-API für die Graphanalyse basiert.

Wir haben verschiedene Gruppen von Merkmalen erhalten: Häufigkeit oder Auftreten jeder Gruppe visueller Muster, polynomiale Anpassungskoeffizienten aus einer Histogrammdarstellung von Clustern für jeden Patienten, räumliche Nachbarschaftsbeziehung zwischen geclusterten visuellen Mustern und klinische Merkmale wie Alter, Rasse und Diagnose. In dieser Studie verwendeten wir mehrstufige Merkmalsextraktions- und Klassifizierungspipelines mit einem Random-Forest-Klassifikator, um die Nierenfunktion bei der Biopsie bzw. 1-Jahres-Vorhersage vorherzusagen. Im Allgemeinen weisen mehrstufige Pipelines zur Merkmalsextraktion und -klassifizierung eine hohe Vorhersagegenauigkeit auf, verglichen mit dem End-to-End-Lernen, das eine große Datenmenge erfordert, um eine hohe Genauigkeit zu erzielen42,43. Darüber hinaus ist der Random Forest-Klassifikator ein häufig verwendeter Algorithmus für maschinelles Lernen, der im Vergleich zum Entscheidungsbaumalgorithmus eine höhere Genauigkeit bei der Vorhersage von Ergebnissen bietet. Außerdem kann es große Datensätze effizient verarbeiten, eine vernünftige Vorhersage ohne Hyperparameter-Optimierung erstellen und das Problem der Überanpassung in Entscheidungsbäumen lösen. Für die Vorhersage bei der Biopsie wurden die Patienten in Gruppen mit niedrigem und hohem eGFR mit einem Schwellenwert bei eGFR 60 dichotomisiert: eGFR ≥ 60 (n = 36) und eGFR < 60 (n = 21). Für die Vorhersage, ob die eGFR innerhalb eines Jahres abnimmt oder zunimmt, wurden die Patienten anhand der eGFR-Steigung in zwei Gruppen dichotomisiert: eGFR-Steigung ≥ 0 (n = 30) und eGFR-Steigung < 0 (n = 27). Die eGFR-Steigung ist definiert als Gl. (3).

Dabei ist „Alter im 1. Jahr“ das Alter in Tagen etwa 1 Jahr nach der Biopsie. Um die Diagnosefähigkeit des binären Klassifikatorsystems zu veranschaulichen, wurde eine ROC-Kurvenanalyse (Receiver Operating Characteristic) durchgeführt. Um die Leistung unseres Modells zu bewerten, haben wir die Fläche unter der ROC-Kurve (AUC) und ihr 95 %-Konfidenzintervall geschätzt44,45,46. Die Clusteranalyse wurde mit den Algorithmen „kmeans“ und „silhouette“ in MATLAB (R2020a, The MathWorks, Inc.) durchgeführt. ROC und AUC wurden mit R (R Foundation for Statistical Computing, Wien, Österreich) berechnet.

Um Bildmuster auf Bildfeldern zu gruppieren, haben wir mithilfe des vorab trainierten DeepLab V3+ mit dem ResNet-18-Modell Merkmale aus jedem Bildfeld für die Clusterbildung extrahiert38,47. Anschließend wurden alle 172 Biopsiekerne auf den Bildern in 107.471 Patches unterteilt. Anschließend wurden diese Patches durch K-Means-Clustering gruppiert, um ähnliche Bildmuster zu gruppieren (Abb. 3a). K-Means-Clustering-Algorithmen verwenden Ähnlichkeits- oder Distanzmaße, um Gruppierungen zu bilden, sodass Bildfelder in denselben Gruppen ähnlicher sind als diejenigen in anderen Gruppen. Die optimale Anzahl von Datenclustern (K = 9) wurde mit dem Algorithmus Silhouette in MATLAB ermittelt (ergänzende Abbildung S2).

Clusterbildmuster und Beispiele. (a) Gruppierte neun visuelle Mustergruppen mit repräsentativen Bildfeldern; (b) ein Beispiel einer Biopsieprobe; (c) die farbcodierte Karte des Clusters; und (d) jeder farbcodierte Patch kann als Knoten für die räumliche Analyse betrachtet werden.

Für die Analyse wurden Clusterindizes, Schwerpunktpositionen und Abstände von jedem Punkt zu jedem Schwerpunkt berechnet. Abbildung 3 zeigt (a) 9 gruppierte visuelle Mustergruppen mit repräsentativen Bildfeldern, (b) ein Beispiel für Kortexe, (c) seine farbcodierte Clusterkarte und (d) jeder farbcodierte Patch kann als Knoten für betrachtet werden räumliche Analyse. In dieser Studie haben wir eine auf Clustering basierende Deep-Learning-Methode entwickelt, um bisher unbekannte visuelle Muster sowie räumliche Nachbarschaftsbeziehungen zwischen geclusterten Nierenstrukturmustern zu finden, die die Ergebnisse für den Patienten vorhersagen könnten. Tabelle 1 fasst eine detaillierte Beschreibung für jede visuelle Mustergruppe und ihre Bedeutung für die Vorhersage der eGFR bei der Biopsie bzw. in einem Jahr zusammen. Die wichtigen visuellen Muster wurden mithilfe des Gini-Index ermittelt, der die Wahrscheinlichkeit berechnet, dass ein bestimmtes Merkmal bei zufälliger Auswahl falsch klassifiziert wird.

Ein Graph für das GNN-Modell ist eine Datenstruktur, die aus zwei Komponenten wie Knoten und Kanten besteht und zur Analyse der paarweisen Beziehung zwischen Objekten und Entitäten verwendet wird. In dieser Studie wurde die Diagrammdarstellung als Eingabe des DGCNN mit den Knoten erstellt, bei denen es sich um die geclusterten räumlichen visuellen Muster handelt, die sich auf den Biopsiebildern befinden.

In jedem Fall gibt es mehrere Biopsiekerne und das DCGNN gibt eine Klassenvorhersage für jeden Kern aus. Die Vorhersage auf Patientenebene wurde mit einem normalisierten flächengewichteten Score, aw-Score, durch Einbeziehung der normalisierten Größe jeder Kernbiopsieprobe in a erhalten Fall in seine entsprechende Vorhersage auf Patientenebene. Wir führten eine dreifache Kreuzvalidierung durch, stratifiziert nach Patienten, für DGCNN und führten in den Tabellen 2 und 3 den normalisierten Bereich und die Vorhersage von DGCNN für jeden Kern und aw-Score für jeden Fall auf. Diese Ergebnisse wurden aus den Testsätzen von drei verschiedenen Modellen ermittelt (dreifache Kreuzvalidierung).

Für jeden Patienten wurde eine Histogrammdarstellung der Cluster erstellt, um die Verteilung jedes Clustertyps auf Patientenebene zu beschreiben. Diese Clusterhäufigkeitsinformationen aus dem Histogramm liefern uns die Clusterhäufigkeitsmerkmale für jeden Patienten. Die Untersuchung dieser visuellen Muster für jeden Fall kann uns Informationen liefern, um bisher unbekannte Merkmale zu finden, die die Ergebnisse für den Patienten vorhersagen (Tabelle 1). Einige visuelle Mustergruppen stimmen gut mit bestimmten mikroskopischen Nierenstrukturen überein: visuelle Mustergruppe Nr. 2 (blaue Knoten) ist die glomeruläre Struktur, die das wichtigste visuelle Muster zur Vorhersage der Nierenfunktion bei der Biopsie darstellt, und visuelle Mustergruppe Nr. 5 sind bei einigen Arteriolen Leerraum. Die visuelle Mustergruppe Nr. 7 stimmt nicht genau mit den ausgeprägten mikroskopischen Nierenstrukturen überein, enthält jedoch sowohl normale als auch nahezu normale tubulointerstitielle (TI) und einige interstitielle Bereiche, die die wichtigsten visuellen Muster zur Vorhersage der Nierenfunktion in einem Jahr darstellen. Abbildung 4 zeigt zwei Beispiele für Biopsieproben; einer (rechts) hat komplexe heterogene visuelle Muster und einer (links) hat relativ wenige und ausgeprägte visuelle Muster. Durch unser CluSA-Framework können wir komplexe heterogene visuelle Muster von Biopsieproben nicht nur anhand ihrer Mengen im Gewebe von CNE-Patienten, sondern auch anhand ihrer räumlichen Konfiguration im Gewebe beurteilen.

Zwei Beispiele für Biopsieproben. (a,e) Zwei Beispiele für Biopsieproben; (b,f) farbcodierte Knoten aus gruppierten visuellen Mustergruppen; (c,g) Zoombilder; (d,h) Histogrammdarstellung von Clustern mit Anpassungskurven des 4. Polynoms für beide Fälle.

Zusätzlich zur individuellen Häufigkeit oder zum Auftreten visueller Muster im Histogramm lieferte die Polynomanpassung im Histogramm Gesamtinformationen über alle Häufigkeitsmerkmale des Histogrammclusters (Abb. 4d, h; ergänzende Abb. S3). In dieser Studie haben wir einen Klassifikator für maschinelles Lernen verwendet, um alle Merkmale wie Histogrammhäufigkeitsmerkmale, Polynomkoeffizientenmerkmale, aw-Scores von DGCNN und klinische Merkmale wie Alter, Rasse, Geschlecht und Diagnose einzubeziehen, um die Ergebnisse des Patienten vorherzusagen. Die detaillierten klinischen Merkmale, einschließlich Patientendiagnose und demografische Daten, sind in der Ergänzungstabelle S1 aufgeführt. Wir verwendeten ein Random-Forest-Modell als Klassifikator, um die AUC zu berechnen und die Assoziation visueller Muster und Merkmale mit klinischen Patientenergebnissen wie eGFR vorherzusagen. Tabellen 4 und 5 zeigen die Rangfolge der wichtigen Merkmale für das dichotomisierte Niveau der Nierenfunktion bei der Biopsie bzw. in einem Jahr. Für die Vorhersage von eGFR-Änderungen in einem Jahr verwendeten wir zusätzliche klinische Merkmale, eGFR und UPC bei der Biopsie. Diese wichtigen Merkmale wurden mithilfe des Gini-Index, auch bekannt als Gini-Unreinheit, berechnet, der die Wahrscheinlichkeit berechnet, dass ein bestimmtes Merkmal bei zufälliger Auswahl falsch klassifiziert wird.

Wir haben die sieben wichtigsten Merkmale basierend auf dem Rang des Wichtigkeitsindex ausgewählt (Tabellen 4, 5): ein räumliches Merkmal, drei Häufigkeitsmerkmale (f2, f5 und f8), ein Polynommerkmal (c1) und zwei klinische Merkmale (Alter). und Diagnose) zur Vorhersage der eGFR bei der Biopsie; und ein räumliches Merkmal, drei Frequenzmerkmale (f4, f6 und f8), zwei Polynommerkmale (c2 und c4) und ein klinisches Merkmal (Alter) zur Vorhersage von eGFR-Änderungen in einem Jahr. Durch die Auswahl der Top-7-Features wurde sichergestellt, dass alle vier Kategorien von Feature-Typen in unsere Analyse einbezogen wurden. Für die Vorhersage der eGFR bei der Biopsie betrug der Fehler aus der Zufallsstruktur 0,05, die Sensitivität 0,97 und die Spezifität 0,90. Der ROC für die Top-7-Funktionen ist in Abb. 5a dargestellt. Die AUC betrug 0,96 und das 95 %-Konfidenzintervall 0,89–1,0. Die Genauigkeit betrug 0,95.

ROC-Kurven und AUC-Werte. ROC-Kurven zur Vorhersage des Niveaus der Nierenfunktion, (a) bei der Biopsie und (b) in der Zukunft. Top7 stellt die Top-7-Funktionen dar, die basierend auf der Wichtigkeitsstufe ausgewählt wurden. Die x-Achse ist die wahre negative Rate (TNR) oder Spezifität und die y-Achse ist die wahre positive Rate (TPR) oder Sensitivität.

Für die Vorhersage, ob die eGFR in einem Jahr zunimmt oder abnimmt, betrug der Fehler aus der Zufallsstruktur 0,16; Empfindlichkeit: 0,83; Spezifität: 0,85; und Genauigkeit: 0,84. Der ROC für die Top-7-Funktionen ist in Abb. 5b dargestellt. Die Fläche unter der ROC-Kurve (AUC) betrug 0,85 und das 95 %-Konfidenzintervall betrug 0,76–0,95. Die Genauigkeiten wurden unter Verwendung von Gl. berechnet. (4) für dieses Modell,

wobei TP, FP, TN und FN wahr-positive, falsch-positive, wahr-negative bzw. falsch-negative Vorhersagen darstellen. Die detaillierten Ergebnisse der Verwirrungsmatrix, der AUC, des 95 %-Konfidenzintervalls (KI) und der Genauigkeit sind in den Ergänzungstabellen S2 bzw. S3 aufgeführt. Basierend auf den Ergebnissen war das räumliche Merkmal der Nachbarschaftsinformationen zwischen geclusterten visuellen Mustern aus dem graphischen neuronalen Netzwerk das wichtigste Merkmal im Zusammenhang mit der Vorhersage der Nierenfunktion sowohl bei der Biopsie als auch in einem Jahr. Es zeigte sich, dass die Genauigkeit und AUC für alle kombinierten Merkmale im Vergleich zur Genauigkeit und AUC jedes Merkmalstyps erhöht waren. Die Genauigkeit und AUC für jeden Merkmalstyp sind in Tabelle 6 zusammengefasst.

Bei der histopathologischen Bildanalyse wurden in computergestützten Studien künstliche Intelligenz und Methoden des maschinellen Lernens eingesetzt, um diagnostische Entscheidungsprobleme zu lösen, und die meisten Methoden des maschinellen Lernens, die auf histopathologische Objektträger angewendet wurden, stützten sich auf vollständig überwachtes Lernen und Expertenanmerkungen auf Pixelebene B. um Merkmale zu extrahieren oder ein Modell zu trainieren48,49, obwohl einige Forscher versuchten, den Kennzeichnungsaufwand zu reduzieren, indem sie schwach überwachtes Lernen und halbüberwachtes Lernen für die Klassifizierungsaufgaben verwendeten50,51. Allerdings erfordert ein Deep-Learning-Segmentierungsmodell einen erheblichen Kennzeichnungsaufwand, was eine sehr zeitaufwändige Aufgabe ist, die bei histopathologischen Bildern aufgrund ihrer großen Bildgröße mit hoher Auflösung oft unpraktisch ist. Auch die Kennzeichnung von Mikrostrukturen oder Regionen von Interesse (ROIs) auf histopathologischen Bildern erfordert Domänenkenntnisse über die Mikrostrukturen von ROIs. Darüber hinaus hängen die Ergebnisse des Modells von der Qualität der Beschriftungen im Trainingssatz ab, was zu menschlichen Fehlern bei der manuellen Beschriftung führen kann. Andererseits erfordert unüberwachtes Lernen keine gekennzeichneten Daten und das Modell lernt aus Rohdaten ohne Vorkenntnisse. Darüber hinaus entdeckt es bisher unbekannte Muster aus den Daten. Unüberwachtes Lernen hat jedoch auch einige Nachteile, wie z. B. die Schwierigkeit, Genauigkeit oder Wirksamkeit zu messen, da während des Trainings keine vordefinierten Antworten vorliegen. Einer der typischen Nachteile eines Clustering-Algorithmus besteht außerdem darin, dass räumliche Beziehungen in den Daten nicht berücksichtigt werden.

Um hochintelligente und effiziente Algorithmen für maschinelles Lernen zu entwickeln, haben wir ein Rechengerüst entwickelt, das unbeaufsichtigtes Lernen nutzt, um die Last der manuellen Kennzeichnung zu überwinden, und überwachtes maschinelles Lernen, um eine räumliche Beziehung zwischen visuellen Mustern zu integrieren. Der beste Weg, diesbezüglich Fortschritte zu erzielen, besteht darin, unüberwachtes maschinelles Lernen mithilfe eines Clustering-Algorithmus zu nutzen, der keine gekennzeichneten Daten erfordert, und die ursprüngliche Position jedes Cluster-Patches auf dem Bild der Biopsieprobe zu ermitteln. Außerdem unterliegt die Clustering-basierte Analyse keiner spezifischen Beschränkung der Stichprobengröße. Wie in Abb. 3 dargestellt, kann jeder geclusterte farbcodierte Patch als Knoten betrachtet werden, und von diesen Knoten wurde eine grafische Darstellung für die räumliche Analyse erhalten. In dieser Studie haben wir die wichtigsten Merkmale identifiziert: normalisierte aw-Score-Merkmale, die räumliche Informationen zwischen benachbarten Bildmustern enthalten, Clusterfrequenzmerkmale, die eine quantitative Menge jedes geclusterten Bildmusters oder Knotens innerhalb eines Falles darstellen, und polynomiale Anpassungskoeffizientenmerkmale, die Folgendes bereitstellen Gesamtinformationen oder ein Trend zu allen Clusterhäufigkeitsmerkmalen und klinischen Merkmalen, einschließlich Alter, Rasse und Diagnose. Dies erfolgt durch Berechnung des Gini-Index oder der Gini-Verunreinigung. Das wichtigste Merkmal war das normalisierte aw-Score-Merkmal, das aus dem Graph-Deep-Learning-Modell für beide Vorhersagen bei der Biopsie und in einem Jahr erhalten wurde. Dies zeigt, dass das räumliche Muster benachbarter Bildmuster oder die Fibrose, die ein charakteristisches Merkmal aller Formen von CKD ist, ein wichtiger Faktor sein könnte, der für den Grad der Nierenfunktion bei CKD berücksichtigt werden muss. Unseres Wissens ist CluSA die erste Studie, in der unbeaufsichtigtes maschinelles Lernen eingesetzt wurde, um morphologische visuelle Muster zu gruppieren und die räumliche Nachbarschaftsbeziehung zwischen geclusterten visuellen Mustern zu bewerten, um die Nierenfunktion bei CKD vorherzusagen.

Unsere retrospektive Studie weist mehrere Einschränkungen auf. Zunächst haben wir in dieser Studie die Patchgröße basierend auf den Anforderungen der Eingabebildgröße des vorab trainierten Deep-Learning-Modells auf 256 × 256 Pixel festgelegt. In der zukünftigen Studie könnten jedoch auch andere Bildgrößen mit Neuskalierung oder mit einem gewissen Grad an Überlappung zwischen benachbarten Patches untersucht werden. Zweitens: Obwohl k-Means-Clustering eine der beliebtesten unbeaufsichtigten Lernmethoden ist, um unbeschriftete Daten in k Cluster zu gruppieren, ist die Identifizierung einer optimalen Anzahl von Clustern in einem Datensatz ein grundlegendes Problem, und es gibt keine definitive Antwort auf die tatsächliche Anzahl von Clustern. Um die optimale Anzahl von Clustern beim K-Means-Clustering zu bestimmen, haben wir einen der beliebtesten Algorithmen verwendet, Silhouette, der die Qualität eines Clusterings misst. Sein Wert gibt ein Maß dafür an, wie ähnlich ein Objekt seinem eigenen Cluster im Vergleich zu anderen Clustern ist. Allerdings sollten die Auswirkungen der Anzahl der Cluster auf die Clusterleistung in einer zukünftigen Studie mit unterschiedlichen Patchgrößen untersucht werden. Um die Generalisierbarkeit der Studie sicherzustellen, sind außerdem zukünftige Studien erforderlich, die eine systematischere Untersuchung der Auswirkungen der Normalisierung der Färbung, der optimalen Anzahl von Clustern und verschiedener Färbungen wie H&E und PAS ermöglichen. Außerdem haben wir in dieser Studie ein vorab trainiertes ResNet-18 zur Merkmalsextraktion verwendet. Die Wahl vorab trainierter neuronaler Netze kann sich jedoch auf die Leistung der Merkmalsextraktion auswirken und die Auswirkungen der Merkmalsextraktion auf verschiedene Netzwerke sollten in einer zukünftigen Studie untersucht werden. Schließlich wurden in den letzten Jahren Medikamente eingeführt, darunter RAAS-Hemmer und SGLT2-Hemmer, die die Veränderung oder Änderungsrate der eGFR nach der Behandlung beeinflussen können52. In dieser Studie haben wir die Arzneimittelwirkungen nicht berücksichtigt, aber die Auswirkungen des Medikaments auf eine erhöhte Anzahl von Fällen mit eGFR oder anderen genauen Messungen der Nierenfunktion (z. B. pathologische Bewertung der Schwere der Erkrankung), da die Ergebnisse in einer zukünftigen Studie untersucht werden sollten53 .

Zuvor haben wir gezeigt, dass unbeaufsichtigte, maschinell erlernte Clustering-Merkmale potenzielle Ersatzmerkmale für die Vorhersage der eGFR sind und als Werkzeuge für die Prognose sowie für die objektive Beurteilung des Niveaus der Nierenfunktion bei CKD47 verwendet werden können. In der vorliegenden Studie zeigen unsere Ergebnisse, dass die Hinzufügung räumlicher Informationen die Leistung des Modells um 2,4 % bzw. 5,1 % der AUC bei der Biopsie bzw. der Ein-Jahres-Vorhersage im Vergleich zur vorherigen Studie verbessert. Darüber hinaus haben wir festgestellt, dass der aw-Score, bestehend aus Ergebnissen des GNN-Modells, das wichtigste Merkmal für die Vorhersage von Patientenergebnissen ist. Die Gruppierung visueller Muster ermöglicht es Pathologen, diese wichtigen Bildsegmente auf klinisch bedeutsame Daten zu untersuchen. Im Gegensatz zu herkömmlichen Deep-Learning-Ansätzen, bei denen ein Algorithmus aus Daten lernt, die von einem Pathologen mit bekannten pathologischen Merkmalen zur Klassifizierung von Krankheiten versehen wurden, identifiziert dieser unbeaufsichtigte Ansatz über CluSA automatisch die optimalsten Unterscheidungsmerkmale, von denen einige möglicherweise potenziell neu sind, um sie zu verstehen und Prognose von Krankheiten. Es ist wichtig, dass unser Rahmenwerk ohne menschliches Zutun wichtige visuelle Muster des Nierengewebes finden kann, die den Patientenergebnissen entsprechen, und zukünftige Diagnosen vorhersagen kann. Obwohl für die komplexe Krankheitsanalyse weitere Studien erforderlich sind, wird unser rechnergestütztes CluSA-Framework potenziell Vorteile haben, da es eine höhere Ausführungsgeschwindigkeit, Genauigkeit und die Einbeziehung räumlicher Informationen bietet und gleichzeitig den Bedarf an zeitaufwändigen, unpraktischen Expertenanmerkungen minimiert.

In dieser Studie haben wir gezeigt, dass die identifizierenden morphologischen Merkmale aus der Clusterbildung und die räumliche Beziehung zwischen ihnen nicht nur den Aufwand für die Beschaffung manuell beschrifteter Trainingsdatensätze verringern können, sondern auch Interpretierbarkeit in Form räumlicher Visualisierungen von Vorhersagemerkmalen ermöglichen. Die Ergebnisse unserer Studie zeigen auch, dass die räumliche Beziehung zwischen visuellen Mustern, die durch unbeaufsichtigtes maschinelles Lernen gewonnen werden, das wichtigste Merkmal ist, das Ergebnisse vorhersagen kann. Unser objektives rechnerisches CluSA-Framework wird bei der Unterscheidung von Nierenfunktionsniveaus und anderen Krankheiten in der digitalen histopathologischen Bildanalyse nützlich sein. Da es bei der Clustering-basierten Analyse keine Beschränkung der Stichprobengröße gibt, bietet unser CluSA-Framework einen echten praktischen Nutzen mit relativ kleinen Datensätzen und könnte bei der Entscheidungsfindung während der Nachverfolgung hilfreich sein.

Alle mit dieser Studie verbundenen Daten sind im Papier oder im Zusatzmaterial enthalten. Der in der Analyse verwendete Code und die Materialien sind in GitHub (https://github.com/aznetz/BoSVW) verfügbar und die während der aktuellen Studie generierten und/oder analysierten Datensätze sind auf begründete Anfrage beim entsprechenden Autor erhältlich.

CDC. Zentren für Krankheitskontrolle und Prävention. Website des Chronic Kidney Disease Surveillance System. https://nccd.cdc.gov/CKD. Zugriff am 8. Juni 2020.

Romagnani, P. et al. Chronisches Nierenleiden. Nat. Rev. Dis. Primer 3, 17088. https://doi.org/10.1038/nrdp.2017.88 (2017).

Artikel PubMed Google Scholar

Gansevoort, RT et al. Eine niedrigere geschätzte GFR und eine höhere Albuminurie sind mit nachteiligen Folgen für die Nieren verbunden. Eine kollaborative Metaanalyse allgemeiner und Hochrisiko-Bevölkerungskohorten. Niere Int. 80, 93–104. https://doi.org/10.1038/ki.2010.531 (2011).

Artikel CAS PubMed PubMed Central Google Scholar

Qaseem, A. et al. Screening, Überwachung und Behandlung chronischer Nierenerkrankungen im Stadium 1 bis 3: Eine klinische Praxisrichtlinie des American College of Physicians. Ann. Praktikant. Med. 159, 835–847. https://doi.org/10.7326/0003-4819-159-12-201312170-00726 (2013).

Artikel PubMed Google Scholar

da Silva Selistre, L. et al. Diagnostische Leistung von Kreatinin-basierten Gleichungen zur Schätzung der glomerulären Filtrationsrate bei Erwachsenen ab 65 Jahren. JAMA-Praktikant. Med. 179, 796–804. https://doi.org/10.1001/jamainternmed.2019.0223 (2019).

Artikel PubMed PubMed Central Google Scholar

Tangri, N. et al. Ein Vorhersagemodell für das Fortschreiten einer chronischen Nierenerkrankung bis zum Nierenversagen. JAMA 305, 1553–1559. https://doi.org/10.1001/jama.2011.451 (2011).

Artikel CAS PubMed Google Scholar

Levey, AS et al. Eine neue Gleichung zur Schätzung der glomerulären Filtrationsrate. Ann. Praktikant. Med. 150, 604–612. https://doi.org/10.7326/0003-4819-150-9-200905050-00006 (2009).

Artikel PubMed PubMed Central Google Scholar

Nath, KA Tubulointerstitielle Veränderungen als Hauptdeterminante für das Fortschreiten von Nierenschäden. Bin. J. Nierendis. 20, 1–17. https://doi.org/10.1016/s0272-6386(12)80312-x (1992).

Artikel CAS PubMed Google Scholar

Bhargava, R. & Madabhushi, A. Neue Themen in der Bildinformatik und molekularen Analyse für die digitale Pathologie. Annu. Rev. Biomed. Ing. 18, 387–412. https://doi.org/10.1146/annurev-bioeng-112415-114722 (2016).

Artikel CAS PubMed PubMed Central Google Scholar

Coudray, N. et al. Klassifizierung und Mutationsvorhersage anhand histopathologischer Bilder von nicht-kleinzelligem Lungenkrebs mithilfe von Deep Learning. Nat. Med. 24, 1559–1567. https://doi.org/10.1038/s41591-018-0177-5 (2018).

Artikel CAS PubMed PubMed Central Google Scholar

Bueno, G., Fernandez-Carrobles, MM, Gonzalez-Lopez, L. & Deniz, O. Glomerulosklerose-Identifizierung in ganzen Objektträgerbildern mithilfe semantischer Segmentierung. Berechnen. Methodenprogramme Biomed. 184, 105273. https://doi.org/10.1016/j.cmpb.2019.105273 (2020).

Artikel PubMed Google Scholar

Kannan, S. et al. Segmentierung von Glomeruli in Trichrome-Bildern mithilfe von Deep Learning. Niere Int. Rep. 4, 955–962. https://doi.org/10.1016/j.ekir.2019.04.008 (2019).

Artikel PubMed PubMed Central Google Scholar

Kolachalama, VB et al. Zusammenhang zwischen pathologischer Fibrose und Nierenüberleben unter Verwendung tiefer neuronaler Netze. Niere Int. Rep. 3, 464–475. https://doi.org/10.1016/j.ekir.2017.11.002 (2018).

Artikel PubMed PubMed Central Google Scholar

Sudharshan, PJ et al. Multiple-Instance-Lernen für die Klassifizierung histopathologischer Brustkrebsbilder. Expertensystem. Appl. 117, 103–111. https://doi.org/10.1016/j.eswa.2018.09.049 (2019).

Artikel Google Scholar

Vu, T. et al. Ein neuartiges attributbasiertes symmetrisches Mehrfachinstanzlernen für die histopathologische Bildanalyse. IEEE Trans. Med. Bildgebung 39, 3125–3136. https://doi.org/10.1109/Tmi.2020.2987796 (2020).

Artikel PubMed PubMed Central Google Scholar

Xu, Y., Zhu, JY, Chang, EI, Lai, M. & Tu, Z. Schwach überwachte histopathologische Krebsbildsegmentierung und -klassifizierung. Med. Bild Anal. 18, 591–604. https://doi.org/10.1016/j.media.2014.01.010 (2014).

Artikel PubMed Google Scholar

Kanavati, F. et al. Schwach überwachtes Lernen zur Klassifizierung von Lungenkarzinomen mithilfe von Deep Learning. Wissenschaft. Rep. 10, 9297. https://doi.org/10.1038/s41598-020-66333-x (2020).

Artikel ADS CAS PubMed PubMed Central Google Scholar

van der Laak, J., Litjens, G. & Ciompi, F. Deep Learning in der Histopathologie: der Weg zur Klinik. Nat. Med. 27, 775–784. https://doi.org/10.1038/s41591-021-01343-4 (2021).

Artikel CAS PubMed Google Scholar

Schapiro, D. et al. histoCAT: Analyse von Zellphänotypen und Interaktionen in Multiplex-Bildzytometriedaten. Nat. Methoden 14, 873–876. https://doi.org/10.1038/nmeth.4391 (2017).

Artikel CAS PubMed PubMed Central Google Scholar

Heindl, A., Nawaz, S. & Yuan, Y. Kartierung räumlicher Heterogenität in der Tumormikroumgebung: eine neue Ära für die digitale Pathologie. Labor. Investieren. 95, 377–384. https://doi.org/10.1038/labinvest.2014.155 (2015).

Artikel PubMed Google Scholar

Zhang, Z. et al. Zeichnen Sie neuronale Netzwerkansätze für Arzneimittel-Ziel-Interaktionen grafisch auf. Curr. Meinung. Struktur. Biol. 73, 102327. https://doi.org/10.1016/j.sbi.2021.102327 (2022).

Artikel CAS PubMed Google Scholar

Xuan, P., Pan, S., Zhang, T., Liu, Y. & Sun, H. Graph-Faltungsnetzwerk und auf Faltungs-Neuronales Netzwerk basierende Methode zur Vorhersage von lncRNA-Krankheitsassoziationen. Zellen 8, 25. https://doi.org/10.3390/cells8091012 (2019).

Artikel Google Scholar

Peng, H. et al. Hierarchische Textklassifizierung in großem Maßstab mit rekursiv reguliertem Deep Graph-CNN. In Web Conference 2018: Proceedings of the World Wide Web Conference (Www2018), 1063–1072. https://doi.org/10.1145/3178876.3186005 (2018).

Veličković, P. et al. Zeichnen Sie Aufmerksamkeitsnetzwerke auf. (2017).

Lopez, C., Tucker, S., Salameh, T. & Tucker, C. Eine unbeaufsichtigte maschinelle Lernmethode zur Entdeckung von Patientenclustern basierend auf genetischen Signaturen. J. Biomed. Informieren. 85, 30–39. https://doi.org/10.1016/j.jbi.2018.07.004 (2018).

Artikel PubMed PubMed Central Google Scholar

Levey, AS & Stevens, LA Schätzung der GFR mithilfe der Kreatiningleichung der CKD Epidemiology Collaboration (CKD-EPI): genauere GFR-Schätzungen, niedrigere Schätzungen der CKD-Prävalenz und bessere Risikovorhersagen. Bin. J. Nierendis. 55, 622–627. https://doi.org/10.1053/j.ajkd.2010.02.337 (2010).

Artikel PubMed PubMed Central Google Scholar

Reinhard, E., Ashikhmin, N., Gooch, B. & Shirley, P. Farbübertragung zwischen Bildern. IEEE Comput. Graph. 21, 34–41. https://doi.org/10.1109/38.946629 (2001).

Artikel Google Scholar

Routray, S., Ray, AK & Mishra, C. Analyse verschiedener Methoden zur Extraktion von Bildmerkmalen gegen verrauschte Bilder: SIFT, SURF und HOG. In Proceedings of the 2017 IEEE Second International Conference on Electrical, Computer and Communication Technologies (Icecct) (2017).

Kumar, G. & Bhatia, PK Eine detaillierte Übersicht über die Merkmalsextraktion in Bildverarbeitungssystemen. Int. C Adv. Berechnen. Berechnen. https://doi.org/10.1109/Acct.2014.74 (2014).

Artikel Google Scholar

Cheplygina, V., de Bruijne, M. & Pluim, JPW Nicht so überwacht: Eine Übersicht über halbüberwachtes, mehrinstanzliches und Transferlernen in der medizinischen Bildanalyse. Med. Bild Anal. 54, 280–296. https://doi.org/10.1016/j.media.2019.03.009 (2019).

Artikel PubMed Google Scholar

Liu, SP, Tian, ​​GH & Xu, Y. Ein neuartiges Szenenklassifizierungsmodell, das ResNet-basiertes Transferlernen und Datenerweiterung mit einem Filter kombiniert. Neurocomputing 338, 191–206. https://doi.org/10.1016/j.neucom.2019.01.090 (2019).

Artikel Google Scholar

Morid, MA, Borjali, A. & DelFiol, G. Eine umfassende Übersicht über die Transfer-Learning-Forschung zur medizinischen Bildanalyse mit ImageNet. Berechnen. Biol. Med. 128, 104115. https://doi.org/10.1016/j.compbiomed.2020.104115 (2021).

Artikel PubMed Google Scholar

Shin, HC et al. Deep Convolutional Neural Networks für computergestützte Erkennung: CNN-Architekturen, Datensatzeigenschaften und Transferlernen. IEEE Trans. Med. Bildgebung 35, 1285–1298. https://doi.org/10.1109/TMI.2016.2528162 (2016).

Artikel PubMed Google Scholar

van Opbroek, A., Ikram, MA, Vernooij, MW & de Bruijne, M. Transferlernen verbessert die überwachte Bildsegmentierung über Bildgebungsprotokolle hinweg. IEEE Trans. Med. Bildgebung 34, 1018–1030. https://doi.org/10.1109/TMI.2014.2366792 (2015).

Artikel PubMed Google Scholar

Christopher, M. et al. Durchführung von Deep-Learning-Architekturen und Transfer-Learning zur Erkennung einer glaukomatösen Optikusneuropathie in Fundusfotos. Wissenschaft. Rep. 8, 16685. https://doi.org/10.1038/s41598-018-35044-9 (2018).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Pratt, LY Fortschritte in neuronalen Informationsverarbeitungssystemen, p. 204–11.

Chen, LCE, Zhu, YK, Papandreou, G., Schroff, F. & Adam, H. Encoder-Decoder mit atrous trennbarer Faltung für semantische Bildsegmentierung. Vortrag. Notizen berechnen. Wissenschaft. 11211, 833–851. https://doi.org/10.1007/978-3-030-01234-2_49 (2018).

Artikel Google Scholar

He, KM, Zhang, XY, Ren, SQ & Sun, J. Deep Residual Learning für die Bilderkennung. Proz. Cvpr IEEE. https://doi.org/10.1109/Cvpr.2016.90 (2016).

Artikel Google Scholar

Russakovsky, O. et al. ImageNet – groß angelegte visuelle Erkennungsherausforderung. Int. J. Comput. Vis. 115, 211–252. https://doi.org/10.1007/s11263-015-0816-y (2015).

Artikel MathSciNet Google Scholar

He, K., Zhang, X., Ren, S. & Sun, J. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 770–778.

Zhang, MH, Cui, ZC, Neumann, M. & Chen, YX Eine End-to-End-Deep-Learning-Architektur für die Graphklassifizierung. In der zweiunddreißigsten Aaai-Konferenz über künstliche Intelligenz/dreißigste Konferenz über innovative Anwendungen künstlicher Intelligenz/achtes Aaai-Symposium über Bildungsfortschritte in der künstlichen Intelligenz, 4438–4445 (2018).

Zheng, Neurocomputing 465, 540–548. https://doi.org/10.1016/j.neucom.2021.09.001 (2021).

Artikel Google Scholar

Keshta, I. et al. Mehrstufiger Algorithmus zur Extraktion biomedizinischer Merkmale zur Krebserkennung. Sn Appl. Wissenschaft. https://doi.org/10.1007/s42452-023-05339-2 (2023).

Artikel Google Scholar

Bradley, AP Die Verwendung der Fläche unter der Roc-Kurve bei der Bewertung von Algorithmen für maschinelles Lernen. Mustererkennung. 30, 1145–1159. https://doi.org/10.1016/S0031-3203(96)00142-2 (1997).

Artikel ADS Google Scholar

Khatun, MS, Shoombuatong, W., Hasan, MM & Kurata, H. Entwicklung sequenzbasierter Bioinformatik-Tools zur Vorhersage von Protein-Protein-Interaktionen. Curr. Genom. 21, 454–463. https://doi.org/10.2174/1389202921999200625103936 (2020).

Artikel CAS Google Scholar

Khatun, MS et al. Jüngste Entwicklung von Bioinformatik-Tools zur Vorhersage von microRNA-Zielen. Curr. Med. Chem. https://doi.org/10.2174/0929867328666210804090224 (2021).

Artikel Google Scholar

Lee, J. et al. Unüberwachtes maschinelles Lernen zur Identifizierung wichtiger visueller Merkmale durch Wortschatz unter Verwendung histopathologischer Daten von chronischen Nierenerkrankungen. Wissenschaft. Rep. 12, 4832. https://doi.org/10.1038/s41598-022-08974-8 (2022).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Bouteldja, N. et al. Deep-Learning-basierte Segmentierung und Quantifizierung in der experimentellen Nierenhistopathologie. Marmelade. Soc. Nephrol. 32, 52–68. https://doi.org/10.1681/ASN.2020050597 (2021).

Artikel CAS PubMed Google Scholar

Kim, Y. et al. Ein Deep-Learning-Ansatz zur automatisierten Segmentierung von Nieren und exophytischen Zysten bei Personen mit autosomal-dominanter polyzystischer Nierenerkrankung. Marmelade. Soc. Nephrol. 33, 1581–1589. https://doi.org/10.1681/ASN.2021111400 (2022).

Artikel PubMed PubMed Central Google Scholar

Zhou, ZH Eine kurze Einführung in schwach überwachtes Lernen. Natl. Wissenschaft. Rev. 5, 44–53. https://doi.org/10.1093/nsr/nwx106 (2018).

Artikel Google Scholar

Kingma, DP, Rezende, DJ, Mohamed, S. & Welling, M. Halbüberwachtes Lernen mit tiefen generativen Modellen. In Advances in Neural Information Processing Systems 27 (Nips 2014) 27 (2014).

Zhang, F. et al. Wirkungen von RAAS-Hemmern bei Patienten mit Nierenerkrankungen. Curr. Hypertoniker. Rep. https://doi.org/10.1007/s11906-017-0771-9 (2017).

Artikel PubMed Google Scholar

Bjornstad, P., Karger, AB & Maahs, DM Gemessene GFR in der klinischen Routinepraxis – das Versprechen getrockneter Blutflecken. Adv. Chron. Nierendis. 25, 76–83. https://doi.org/10.1053/j.ackd.2017.09.003 (2018).

Artikel Google Scholar

Referenzen herunterladen

Wir möchten allen Mitarbeitern des JBH-Labors für ihren Beitrag zu dieser Studie danken. Diese Arbeit wurde vom Verteidigungsministerium W81XWH2210032 (an JL), dem Verteidigungsministerium W81XWH2010436 (an JBH & AR) und dem NCI Grant R37-CA214955 (an AR) unterstützt.

Abteilung für Computermedizin und Bioinformatik, University of Michigan, Ann Arbor, MI, USA

Joonsang Lee, Elisa Warner, Xin Zhang und Arvind Rao

Abteilung für Pathologie, University of Michigan

Jharna Saha, Yingbao Yang, Jinghui Luo und Jeffrey B. Hodgin

Abteilung für Innere Medizin, Nephrologie, University of Michigan, Ann Arbor, MI, USA

Salma Shaikhouni, Markus Bitzer, Matthias Kretzler, Subramaniam Pennathur & Laura Mariani

Abteilung für Pädiatrie, pädiatrische Nephrologie, University of Michigan, Ann Arbor, MI, USA

Debbie Gipson

Abteilung für Innere Medizin, Nephrologie, St. Clair Nephrology Research, Detroit, MI, USA

Keith Bellovich

Abteilung für Innere Medizin, Nephrologie, Wayne State University, Detroit, MI, USA

Zeenat Bhatt

Abteilung für Innere Medizin, Nephrologie, Cleveland Clinic, Cleveland, OH, USA

Crystal Gadegbeku

Abteilung für Pädiatrie, pädiatrische Nephrologie, Levine Children's Hospital, Charlotte, NC, USA

Susan Massengill

Abteilung für Innere Medizin, Nephrologie, Abteilung des JH Stroger Hospital, Chicago, IL, USA

Kalyani Perumal

Abteilung für Biostatistik, University of Michigan, Ann Arbor, MI, USA

Arvind Rao

Abteilung für Radioonkologie, University of Michigan, Ann Arbor, MI, USA

Arvind Rao

Abteilung für Biomedizintechnik, University of Michigan, Ann Arbor, MI, USA

Arvind Rao

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Die Konzeption und Gestaltung des Projekts erfolgte durch JL, JBH und AR. Die Datenerfassung und Vorverarbeitung erfolgte durch JL, EW, SS, MB, MK, DG, SP, KB, ZB, CG, SM, KP, JS, YY, JL, XZ, LM und JBH Die Softwareprogrammierung, statistische Analyse und Interpretation wurden von JL durchgeführt. Das Manuskript wurde von JL verfasst und alle Autoren überprüften das Manuskript.

Korrespondenz mit Joonsang Lee, Jeffrey B. Hodgin oder Arvind Rao.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Lee, J., Warner, E., Shaikhouni, S. et al. Clustering-basiertes räumliches Analyse-Framework (CluSA) durch graphisches neuronales Netzwerk zur Vorhersage chronischer Nierenerkrankungen mithilfe histopathologischer Bilder. Sci Rep 13, 12701 (2023). https://doi.org/10.1038/s41598-023-39591-8

Zitat herunterladen

Eingegangen: 21. April 2023

Angenommen: 27. Juli 2023

Veröffentlicht: 05. August 2023

DOI: https://doi.org/10.1038/s41598-023-39591-8

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.