Image medical analysis - Visual foundation models

Post Views: 751

Image medical analysis è il protocollo medico che consente di utilizzare un ausilio computerizzato nella ricerca e nella diagnostica medica.

L’analisi delle immagini mediche 3D è fondamentale per far progredire le risposte cliniche, il monitoraggio delle malattie e la sopravvivenza complessiva del paziente. I modelli di deep learning costituiscono la spina dorsale del moderno apprendimento della rappresentazione medica 3D, consentendo misurazioni precise del contesto spaziale che sono essenziali per il processo decisionale clinico. Queste rappresentazioni 3D sono altamente sensibili alle proprietà fisiologiche dei dati di imaging medico, come le scansioni TAC o MRI.

La segmentazione delle immagini mediche, un compito visivo chiave per le applicazioni mediche, funge da strumento quantitativo per misurare vari aspetti delle immagini mediche. Per migliorare l’analisi di queste immagini, lo sviluppo e l’applicazione di modelli di base stanno diventando sempre più importanti nel campo dell’analisi delle immagini mediche.

I modelli di base, l’ultima generazione di reti neurali AI, vengono addestrati su set di dati estesi e diversificati e possono essere impiegati per un’ampia gamma di attività o obiettivi.

Man mano che i modelli di linguaggio dimostrano la loro capacità di affrontare compiti generici, stanno emergendo modelli di base visivi per affrontare vari problemi, tra cui classificazione, rilevamento e segmentazione.

I modelli di base possono essere utilizzati come potenti reti neurali AI per segmentare diversi target nelle immagini mediche. Si apre un mondo di possibilità per le applicazioni di imaging medicale, migliorando l’efficacia delle attività di segmentazione e consentendo misurazioni più accurate.

Sfide nell’analisi delle immagini mediche

L’applicazione dei modelli di base medica nell’analisi delle immagini mediche pone sfide significative. A differenza dei modelli generali di visione artificiale, le applicazioni di immagini mediche in genere richiedono conoscenze di dominio di alto livello.

Gli istituti hanno tradizionalmente creato set di dati completamente annotati per obiettivi specifici come milze o tumori, basandosi esclusivamente sull’associazione tra le caratteristiche dei dati di input e le etichette degli obiettivi. Affrontare obiettivi multipli è più difficile, poiché le annotazioni manuali sono laboriose e richiedono tempo. Anche l’addestramento di modelli più grandi o multi-task è sempre più impegnativo.

Nonostante i recenti progressi, c’è ancora un problema di vecchia data nella comprensione di grandi dati di imaging medico a causa della sua eterogeneità:

I dati volumetrici medici sono spesso ad altissima risoluzione e richiedono notevoli risorse computazionali.
Gli attuali modelli di deep learning devono ancora catturare efficacemente la variabilità anatomica.
La natura su larga scala dei dati di imaging medico rende difficile l’apprendimento di rappresentazioni 3D robuste ed efficienti, in particolare quando si tratta di dati eterogenei.

Tuttavia, la moderna analisi di dati volumetrici medici ad alta risoluzione, ad alta dimensione e su larga scala offre un’opportunità per accelerare le scoperte e ottenere approfondimenti innovativi sulle funzioni, il comportamento e le malattie del corpo umano.

I modelli di base offrono la capacità di affrontare le variazioni eterogenee che complicano la rettifica delle differenze inter- e intra-soggetto. L’intelligenza artificiale ha il potenziale per rivoluzionare l’imaging medico consentendo un’analisi più accurata ed efficiente di dati complessi e su larga scala.

Una piattaforma per i modelli di base della segmentazione visiva medica

MONAI Model Zoo funge da piattaforma per l’hosting di modelli di fondazioni visive mediche. Contiene una raccolta di modelli preaddestrati per attività di imaging medico sviluppati utilizzando il framework Medical Open Network for AI (MONAI).

Il MONAI Model Zoo è una risorsa pubblicamente disponibile che fornisce l’accesso a una varietà di modelli preaddestrati per diverse attività di imaging medico, come segmentazione, classificazione, registrazione e sintesi. Questi modelli preaddestrati possono essere utilizzati come punti di partenza o modelli di base per l’addestramento su nuovi set di dati o per la messa a punto di applicazioni specifiche.

Il MONAI Model Zoo è progettato per accelerare lo sviluppo di nuove applicazioni di imaging medicale e consentire a ricercatori e medici di sfruttare modelli preesistenti e costruire su di essi.

Segmentazione TAC total-body

Segmentare la totalità di una TAC di tutto il corpo da un singolo modello è un compito arduo. Tuttavia, il team MONAI ha raccolto la sfida. Hanno sviluppato modelli che segmentano tutte le 104 strutture anatomiche da un unico modello:

27 organi
59 ossa
10 muscoli
8 vasi sanguigni

Utilizzando il set di dati rilasciato dal team di totalSegmentator, MONAI ha condotto ricerche e benchmarking per ottenere tempi di inferenza rapidi. Per un modello da 1,5 mm ad alta risoluzione, il tempo di inferenza utilizzando una singola GPU NVIDIA V100 per tutte le 104 strutture è di soli 4,12 secondi, mentre il tempo di inferenza utilizzando una CPU è di 30,30 secondi. Si tratta di un miglioramento significativo rispetto al tempo di inferenza riportato dall’articolo originale per una singola scansione TAC, che richiedeva più di 1 minuto.

Per ulteriori informazioni sulla panoramica di tutte le strutture anatomiche nelle scansioni TAC total-body, vedere il whitepaper TotalSegmentator: robusta segmentazione di 104 strutture anatomiche nelle immagini TAC.

Segmentazione MRI dell’intero cervello

La segmentazione dell’intero cervello è una tecnica critica nell’analisi delle immagini mediche, fornendo un mezzo non invasivo per misurare le regioni del cervello dalla risonanza magnetica strutturale clinica (MRI). Tuttavia, con oltre 130 sottostrutture nel cervello umano, segmentare qualsiasi cosa nel cervello è una sfida difficile per la segmentazione MRI 3D. Sfortunatamente, le annotazioni dettagliate del cervello sono scarse, il che rende questo compito ancora più impegnativo per la comunità dell’imaging medico.

Per affrontare questo problema, il team MONAI ha collaborato con la Vanderbilt University per sviluppare un modello di deep learning in grado di segmentare simultaneamente tutte le 133 strutture cerebrali. Utilizzando 3D Slicer, il modello MONAI può dedurre l’intero cervello in soli 2,0 secondi. Il modello di segmentazione MRI dell’intero cervello MONAI rappresenta uno sviluppo promettente nella ricerca sull’imaging medico, offrendo una risorsa preziosa per migliorare l’accuratezza delle misurazioni cerebrali in ambito clinico.

Come accedere al MONAI Whole Brain MRI Segmentation Foundation Model.+

Come accedere ai modelli di base per l’imaging medico

L’uso di modelli di base nell’analisi delle immagini mediche ha un grande potenziale per migliorare l’accuratezza diagnostica e migliorare la cura del paziente. Tuttavia, è importante riconoscere che l’applicazione medica richiede una forte conoscenza del dominio.

Con la capacità di elaborare grandi quantità di dati e identificare sottili modelli e anomalie, i modelli di base si sono dimostrati strumenti preziosi nel campo dell’analisi delle immagini mediche. Lo sviluppo e il perfezionamento di questi modelli è in corso, con ricercatori e professionisti che lavorano per migliorare la loro precisione ed espandere le loro capacità.

Sebbene sia necessario affrontare sfide come la privacy dei pazienti e potenziali pregiudizi, l’uso di modelli di base ha già dimostrato vantaggi significativi. Si prevede che in futuro svolga un ruolo più importante nell’assistenza sanitaria.

Mentre ricercatori, medici e utenti continuano a concentrarsi sui modelli di base, il MONAI Model Zoo, una piattaforma che ospita modelli di immagini mediche preaddestrate, sta amplificando il suo impatto. La messa a punto di modelli preaddestrati è fondamentale per il futuro dell’analisi delle immagini mediche.

Il MONAI Model Zoo fornisce l’accesso a una raccolta diversificata di modelli preaddestrati per varie attività di imaging medico, tra cui segmentazione, classificazione, registrazione e sintesi. Utilizzando questi modelli preesistenti come punti di partenza, ricercatori e medici possono accelerare lo sviluppo di nuove applicazioni di imaging medicale, risparmiando tempo e risorse.

(Fonte: Nvidia)

Link utili (Nvidia)

Join our groups on Telegram…

… and don’t forget our social channels!

Luigi_Morelli

Definire ciò che si è non risulta mai semplice o intuitivo, in specie quando nella vita si cerca costantemente di migliorarsi, di crescere tanto professionalmente quanto emotivamente. Lavoro per contribuire al mutamento dei settori cardine della computer science e per offrire sintesi ragionate e consulenza ad aziende e pubblicazioni ICT, ma anche perche’ ciò che riesco a portare a termine mi dà soddisfazione, piacere. Così come mi piace suonare (sax, tastiere, chitarra), cantare, scrivere (ho pubblicato 350 articoli scientfici e 3 libri sinora, ma non ho concluso ciò che ho da dire), leggere, Adoro la matematica, la logica, la filosofia, la scienza e la tecnologia, ed inseguo quel concetto di homo novus rinascimentale, cercando di completare quelle sezioni della mia vita che ancora appaiono poco ricche.