Neerutsüstide semantiliste eksemplaride segmenteerimine MR-piltidel: täisautomaatne 3D-lähenemine, mis on välja töötatud aktiivse õppimise kaudu

Adriana V. Gregory¹ et al

Abstraktne

Kokkuneerudmaht (TKV) on peamine pildistamise biomarker, mida kasutatakse haiguse progresseerumise jälgimiseks ja autosomaalse domineeriva polütsüstilise haigusega patsientide klassifitseerimiseks.neerudhaigus(ADPKD) kliiniliste uuringute jaoks. Kuid sarnaste TKV-dega patsientidel võivad tsüstilised esitused ja fenotüübid olla drastiliselt erinevad. Nende tsüstiliste erinevuste kvantifitseerimiseks töötasime välja esimese 3D semantilise eksemplari tsüstide segmenteerimise algoritmi.neerudMR-piltidel. Oleme nii objekti tuvastamise/lokaliseerimise ülesande kui ka eksemplaripõhise segmenteerimisülesande ümber sõnastanud semantilise segmenteerimise ülesandeks. See võimaldas meil selle ainulaadse pildistamise probleemi tõhusalt lahendada isegi tuhandete tsüstidega patsientide puhul. Selleks õpetati konvolutsioonilist närvivõrku (CNN) õppima tsüstide servi ja tsüstide südamikke. Kujutised teisendati eksemplari tsüstsegmentatsioonidest semantilisteks serva-südamikuteks, rakendades piltide eelproovitud versioonidele 3D-erosiooni morfoloogia operaatorit. Vähendatud tsüstid märgistati tuumaks; erodeeritud alad laiendati 2D-s ja märgistati servaks. Võrgustikku koolitati 3{{10}} MR-pildiga ja valideeriti 10 MR-pildiga, kasutades neljakordset ristvalideerimisprotseduuri. Lõplikku ansamblimudelit testiti 20 MR-pildiga, mida esialgse koolituse/valideerimise ajal ei nähtud. Testikomplekti tulemusi võrreldi kahe lugeja segmentidega. Esitatud mudel saavutas tsüstide arvu keskmiseks R2 väärtuseks 0,94, tsüstide kogumahuks 1.{13}}, tsüstilise indeksi väärtuseks 0,94 ja täringu keskmiseks koefitsiendiks 0,85. Need tulemused näitavad tsüstide segmenteerimise automaatse teostamise teostatavust ADPKD patsientidel.

MärksõnadAutosoomne domineeriv polütsüstneerudhaigus· Magnetresonantstomograafia · Kolmemõõtmeline eksemplari segmenteerimine · Tsüstide maht · Konvolutsioonilised närvivõrgud

Kontakt:ali.ma@wecistanche.com

Cistanche para que sirve hoiab ära neeruhaiguse, proovi saamiseks klõpsake siin

Sissejuhatus

Autosoomne domineeriv polütsüstneerudhaigus(ADPKD) on geneetiline haigus, millel on praegu USA-s diagnoositud ligikaudu 140,{1}} inimest [1]. Seda iseloomustab mitmete tsüstide arengneerud. Tsüstide arvu ja suuruse suurenedes häirivad needneerudvõime filtreerida jääkaineid verest ja viia sageli lõppstaadiumis neeruhaiguseni [2].

Paljud uuringud on näidanud, et kokkuneerudmaht (TKV) on kasulik prognostiline biomarker koos vanuse ja hinnangulise glomerulaarfiltratsiooni kiirusega kasutamiseks kliinilistes uuringutes ja neerufunktsiooni languse ennustamiseks [3–5]. Kuigi TKV on oluline, on palju rohkem struktuurset teavet, mida võiks iseloomustada. Näiteks muud pildist tuletatud biomarkerid, nagu tsüstide arv ja suurus, annaksid haiguse staatuse kohta täiendava ülevaate [6]. ADPKD patsientidel, kellel on sarnased TKV-d, võivad esineda erinevadneerudtsüstide koostised (st vähesed suured tsüstid, paljud väikesed tsüstid või suurte ja väikeste tsüstide kombinatsioon). See lisateave on tõenäoliselt kliiniliselt oluline ja on praegu üks tegur, mida kasutatakse ADPKD patsientide tüüpiliste ja ebatüüpiliste kuvamisrühmade klassifitseerimisel [7]. Veelgi enam, Bae et al. [8] tegi hiljuti ettepaneku, et silmapaistvate eksofüütiliste tsüstide väljajätmine võib parandada patsientide klassifikatsiooni. Seda tsüstide hindamist tehakse aga sageli käsitsi, kasutades tsüstide mahu ligikaudseks määramiseks ellipsoidvõrrandit või kasutajast sõltuvaid poolautomaatseid meetodeid.

Viimastel aastatel on masinõpet (eriti süvaõpet) edukalt rakendatud loomulike piltide (st RGB-kaameraga tehtud piltide) segmenteerimiseks [9–11]. Selle tulemusena on meditsiinilise pildianalüüsi teadlased tõlkinud ja välja töötanud uusi tehnoloogiaid mitmete elundite ja kudede segmenteerimiseks [12]. ADPKD-s on polütsüstiliste segmentide segmenteerimiseks rakendatud sügavaid närvivõrke kasutavad täielikult automatiseeritud meetodidneerudCT-skaneeringutel kontrasti suurendamisega ja ilma, saavutades täringukoefitsiendi vastavalt {{0}}.86 ja 0,92 [13, 14]. Täisautomaatsed mudelid on rakendatud ka T2-kaalutud MR-piltide jaoks [15, 16], mis näitavad täpseid tulemusi (täring=0.97).

Eksemplaride segmenteerimine läheb aga sammu võrra kaugemale ja on võimeline segmenteerima sama klassi näiteid (nt eraldades pildil iga auto või lahtri eksemplari). Mask R-CNN [17] on laialdaselt kasutatav meetod eksemplari segmenteerimise genereerimiseks, rakendades objektituvastusalgoritmi. Enamik maski R-CNN rakendusi on suunatud looduslike kujutiste segmenteerimisele [18–21] ning mõned histopatoloogia ja 2D-meditsiiniliste kujutiste jaoks [22–26]. 3D-piltide puhul võib skaneerimise suurem mõõde märkimisväärselt suurendada GPU-mälu nõudeid. Ainult paaris radioloogilises uuringus on teatatud maski R-CNN kasutamisest kopsusõlmede segmenteerimiseks rindkere CT-s [27] ja hemorraagia hindamiseks pea CT-s [28]. Seevastu eksemplari tsüstide segmenteerimise ülesanne kujutab endast suuremat väljakutset mitte ainult suurema eksemplaride arvu tõttu (kuni tuhandeid tsüste), mis muudab selle rakendamise objektide tuvastamise lähenemisviisi abil teostamatuks, vaid ka suure ühenduse tõttu. / ADPKD tsüstide rühmitatud olemus.

Mõned uuringud on rakendanud traditsioonilisemaid segmenteerimismeetodeid, et luua eksemplaride ja semantiliste tsüstide segmenteerimist ultraheli- ja CT-kuvamiseks [29–32], rakendades intensiivsus- ja kujupõhiseid meetodeid. MR-kuvamises on teostamiseks rakendatud kaks poolautomaatset lähenemisviisineerudtsüstide segmentatsioonid. Esimeses lähenemisviisis kasutati eksemplari tsüstide segmenteerimiseks k-keskmiste klastrite meetodit, millele järgnes ühendatud komponentide analüüs [33]. Teine lähenemisviis kasutas piirkonnapõhist meetodit binaarsete signaali intensiivsuse kaartide loomiseks, et genereerida semantiline tsüstide segmenteerimine [34]. Enamik neist lähenemisviisidest tugineb intensiivsusteabele, mis võib hõlmata muid sarnaste intensiivsusväärtustega piirkondi, näiteks neeruvaagnat, ja välistada mõned erineva signaali intensiivsusega tsüstid (nt hemorraagilised tsüstid). Täielikult automatiseeritud meetod võib neist probleemidest üle saada ja pakkuda täpsemaid tsüstide kvantifitseerimise parameetreid, eriti rasketel juhtudel, kui käsitsi segmenteerimist ja poolautomaatseid meetodeid pole lihtne teostada. Seega pakume selles artiklis välja sügava õppimismudeli 3D-eksemplari tsüstide segmenteerimiseks, et mõõta tsüstide kogumahtu (TCV), samuti tsüstide arvu ja tsüstilise indeksit.

Materjalid ja meetodid

Selle retrospektiivse pildiuuringu vaatas läbi ja kiitis heaks meie institutsionaalne ülevaatenõukogu. Üksikute tsüstide 3D käsitsi segmenteerimine ADPKD patsientide MR-piltidel on väga keeruline ja aeganõudev ülesanne. Et hõlbustada võrdlusstandardi andmestiku loomise protsessi, rakendati esialgne mudel. Esialgset mudelit koolitati 15 3D MR-piltide jaoks, seda kinnitati 5 pildil ja testiti veel 5 kujutisega. Seejärel kasutati esialgse mudeli väljundit ja raamistikku täiustatud lõpliku mudeli jaoks.

Esialgne mudel: MRI andmestik

Kakskümmend viis (n{1}}) ADPKD-ga patsienti ja olemasolevad MRI-pildid, mis esindavad tsüstide arengu erinevaid etappe janeerudlaienemine tuvastati meie PKD pildiandmebaasis. Ainult koronaalsed T{{0}}kaalutud rasvaga küllastunud skaneeringud, mis ei näita häguseid artefakte ja mis saadi 3-T-väljatugevusega (n= 23) ja 1.5-T-väljaga tugevus (n= 2) valiti sellesse uuringusse. Kuna pilte tehti mitme aasta jooksul, varieerus spetsiifiline MR-i omandamine, kuid kõik koosnes maatriksi suurusest 256 × 256 × Z (koos FOV ja Z olid piisavalt suured, et katta kogu neerud). Kujutise voksli suuruse mediaan oli tasapinnas 1,37 mm (vahemikus 0,82 kuni 1,56 mm) ja lõigu paksus oli mediaan 30 mm (vahemik 3.0 kuni 9,0). mm).

Automaatika rakendamisel saadud TKV-dneerudsegmenteerimine [35] oli saadaval kõikidel juhtudel. Skaneeringud sorteeriti nende TKV alusel ja randomiseeriti treeningu (n=15), valideerimise (n= 5) ja testi (n= 5) komplektidesse, nagu on näidatud joonisel 1, stratifitseerides. proovide võtmine, et tagada neerude suuruse sarnane jaotus komplektide vahel.

Esialgne mudel: võrdlusstandard

Tsüsti segmenteerimine: testikomplekt

Tsüstid jälgisid käsitsi kaks koolitatud lugejat, kasutades ettevõttesiseselt välja töötatud tarkvara PKD-GUI (saadaval veebis aadressil https://github.com/TLKline/InstanceCystSeg). Tarkvara võimaldab vabakäelist jälgimist ja lõplikud segmentatsioonid salvestati tihendatud NIFTI-failidena. Lugejad kasutasid kõigi tsüstide jälgimiseks ainult ühte silti, välja arvatud neeruvaagna, veresooned, normaalne neerukude ja kõrge intensiivsusega alad, mis on väiksemad kui 4 vokslit, mida ei olnud võimalik pildimürast eristada. Lisaks jäid lugejad pimedaks patsientide teabe ja teiste lugejate jälgimise suhtes.

Tsüsti segmenteerimine: katsekomplekt

Tsüstide segmenteerimise esialgne eksemplar loodi käsitsi tehtud tsüstide jälgimisest, rakendades 3D veelahkme algoritmi 3D Eukleidilise kauguse kaardile, mis põhines MRI ja tsüstide segmenteerimise piltidel (MATLAB, v.R2018b). Algoritm määras igale tsüstile kasvavas järjekorras erinevad sildid. Tsüstide segmentimise eksemplari vaatas hiljem läbi sama lugeja, kes teostas käsitsi tsüstide segmenteerimist, ja vajadusel korrigeeriti (st siltide jagamise või ühendamise teel), kasutades eelnevalt kirjeldatud ettevõttesisest tarkvara.

Esialgne mudel: andmete eeltöötlus

Viitestandard: koolitus- ja valideerimiskomplektid

Treening- ja valideerimiskomplektide tsüstide segmenteerimisprotsessi kiirendamiseks kasutati ühe märgise tsüstide segmenteerimiseks varem välja töötatud automatiseeritud semantilist tsüstide segmenteerimise algoritmi [36]. Järgmisena läbis saadud segmenteerimine eelmises jaotises kirjeldatud 3D veelahkme protsessi. Lõpuks vaatas pildid läbi Lugeja 1.

Enne süvaõppemudeli väljaõpet muudeti segmenteerimismaskid semantilisteks segmentimisteks tsüsti serva ja tsüsti tuumana. Serv saadi tsüstimaski lahutamisel 3D-dilateeritud tsüstimaskist (kasutades 6-ühendatud struktureerivat elementi). Tsüsti südamik oli sama, mis tsüstimaskil. Konversiooniprotsess viidi läbi tsüsthaaval (MATLAB, v.R2018b).

Esialgne mudel: semantilise eksemplari tsüsti segmenteerimine

Süvaõppe mudel

Süvaõppe mudel põhineb U-Neti närvivõrgul [37], kasutades eelmise tööga sarnaseid algusmooduleid [36]. Mudeli sisend koosneb 4 pildist:

3 järjestikust MR-lõiku ja 1neerudsegmenteerimismask, mis vastab keskmisele MR-i sisendpildile. Mudeli väljundiks on keskmise sisendpildi ennustatud serva-südamiku kujutis (joonis 2). Eksami esimese ja viimase MRI lõigu jaoks olid esimene ja kolmas sisendkujutis vastavalt nullpolsterdatud maatriksid.

Modelli koolitamine

Mudelit õpetati NVidia graafilisel protsessoril (mudel: Tesla P40), kasutades Keras Pythoni teeki ja Python 3.6.1. Epohhide arvuks määrati 200 partii suurusega 6. Segmenteerimise hindamist hinnati Jaccardi kadufunktsiooni abil, kus r on võrdlussegmentatsioon, p on ennustatud segmentatsioon ja N on vokslite arv. Adami optimeerijat kasutati õppimiskiirusega=1e−3.

Esialgne mudel: andmete järeltöötlus

Igale tsüstile individuaalse sildi määramiseks rakendati süvaõppemudeli väljundis tuumade segmenteerimisele ühendatud komponentide algoritmi 6 naabervoksli ühenduvusega.

Lõplik mudel: MRI andmestik

Kolmkümmend viis (n=35) 3D-MR-pilti ADPKD-ga patsientidelt ja saadaval on 1.5-T või 3-TT2-kaalutud koronaalse rasvaga küllastunud pilti, mis esindavad laiemat pilti Esialgse mudeli andmekogumisse lisati hulk erinevaid tsüstide arengu ja neerude suurenemise etappe. TKV segmentatsioonid olid saadaval kõikidel juhtudel. Kokku moodustasid lõpliku andmekogumi 60 MR-pilti maatriksi suurusega 256 × 256 × Z või 512 × 512 × Z (koos FOV ja Z olid piisavalt suured, et katta kogu neerude ulatus). Kujutise voksli suuruse mediaan oli tasapinnas 1,41 mm (vahemikus 0,8 kuni 1,88 mm) ja lõigu paksus oli mediaan 40 mm (vahemik 30 kuni 9,0). mm).

Pildid sorteeriti nende TKV mõõtude alusel. Koolitamiseks ja kinnitamiseks kasutati neljakümnekordset ristvalideerimistehnikat kasutades 40 MR-pilti (sealhulgas 25 pilti esialgsest mudelist). Ülejäänud 20 MR-pilti kasutati testimiseks. Joonisel 3 on näidatud kõigi komplektide TKV jaotused.

Lõplik mudel: võrdlusstandard

Äsja lisatud 35 MR-kujutise tsüsti segmenteerimine loodi esialgse mudeli abil. Kaks sõltumatut lugejat vaatasid üle testpildid (n= 20) ja üks lugeja vaatas läbi koolitus-/valideerimispildid (n=15). Lõpuks võeti kõigist 60 eksemplari tsüstide segmenteerimismaskist ja vastavatest MR-piltidest proovid üles maatriksi suurusele 512 × 512 × 3Z, kasutades vastavalt bilineaarset ja bikubilist interpolatsiooni. Igale tsüsti eksemplarile rakendati avamisoperatsioon, et säilitada eksemplari täpne segmenteerimine pärast järeltöötlust (st laienemine pärast südamiku erosiooni).

Eksemplari segmentatsioonid teisendati semantilisteks serva-südamiku segmentideks, kus tuum oli 3D erodeeritud tsüstide eksemplaride tulemus ja serv saadi 3D sisemise ja 2D välimise tsüsti eksemplari servade lisamisega. 3D ja 2D morfoloogilised toimingud viidi läbi, kasutades vastavalt 3 × 3 × 3 voksli 6-ühenduvustuuma ja 3 × 3 voksliga 4- aktiivsustuuma.

Lõplik mudel: ansambliõpe

Neljakordsetest ristvalideerimiskomplektidest saadi neli mudelit, kasutades joonisel 2 näidatud U-Neti arhitektuuri. Kolm parimat tulemuslikkust valideerimiskomplekti osas ühendati lõpliku ansamblimudelina. Väljund genereeriti kolme serva- ja põhisegmentatsiooni häälteenamusega. Lõpliku ansamblimudeli skeem on näidatud joonisel 4.

Lõplik mudel: järeltöötlus

Esialgsete mudelitulemuste põhjal täheldati, et Z-telje pildi madalama eraldusvõime tõttu olid mõned tsüstide südamikud ühendatud tagumise/eesmise tsüstiga. Semantiliselt eksemplari segmenteerimisele ülemineku parandamiseks ja teadmisega, et tsüstidel on sfääriga sarnane kuju, arvutasime kõigepealt tuumade segmenteerimisel 3D Eukleidilise kauguse kaardi. Seejärel rakendati 3D Watershed algoritmi, et jagada kõik tsüstid, mida servade segmenteerimine ei pruugi eraldada. Järgmiseks, eesmärgiga säilitada tsüstide südamikud, mis koosnevad peamiselt mõnest vokslist, mis võivad pärast Watershedi algoritmi kaduda, rakendati 6-lähima naabri ühenduvusega ühendatud komponentide algoritmi prognoositud tuumakaardi ja 3D vahelise erinevuse määramiseks. Vesikonna väljund. 3D-ühendatud komponentide eksemplari segmenteerimise sildid määrati alates ühest pluss viimasest sildist 3D-veekogu väljundist. Seejärel lisati ühendatud komponentide eksemplari segmenteerimine veelahkme eksemplari segmentimisele. Lõpuks laiendati kõiki tsüstide eksemplare 3D-s 3 × 3 × 3 voksliga 6-ühendatud struktureerimiselemendiga. Viimane järeltöötlusetapp oli kujutise algkuju vähendamine.

Statistiline analüüs

Esialgset ja ansamblimudelit hinnati, võrreldes automatiseeritud eksemplari tsüstide segmentatsioone 3D-standardsete tsüstide segmentatsioonidega. Eksemplaride segmentatsioonid kahendati vokslipõhiseks võrdlemiseks, kasutades Jaccardi indeksit, Sorenseni-täringu koefitsienti, täpsust, meeldetuletust ja absoluutset suhtelist helitugevuse muutust. TCV-sid, mis arvutati kõigi segmenteeritud vokslite summana, korrutatuna vokslimahuga, hinnati Bland-Altmani analüüsi ja lineaarse regressiooni abil. Tsüstide koguarvu hinnati lineaarse regressiooni abil. Lõpuks tsüstiline indeks, mis on määratletud tsüsti mahu protsendina koguarvustneerudmaht, hinnati Bland-Altmani analüüsi ja lineaarse regressiooni abil. Statistiline analüüs viidi läbi kasutades JMP-d (JMP, versioon 14) ja MedCalci (MedCalc Statistical Software, versioon 19.1.3).

Tulemused

Esialgne mudel: 5 juhtumi testikomplekt – tsüstide segmenteerimine

Reader 1 ja Reader 2 poolt teostatud segmenteerimise põhjal arvutatud TCV-de ja algrežiimiga automaatselt saadud TCV-de tulemused (järjestatud tõusva TKV alusel) on toodud tabelis 1. Bland-Altmani analüüs andis tulemuseks kallutatuse ja täpsuse - 8,9 protsenti ±7.0 protsenti lugeja 1 ja lugeja 2 vahel, 0,9 protsenti ±32,2 protsenti lugeja 1 ja algmudeli vahel ning 9,5 protsenti ± 30,8 protsenti lugeja 2 ja algmudeli vahel .

Esialgne mudel: 5 juhtumi testikomplekt – tsüstide arvu analüüs

Tsüstide koguarv oli K1, 102, 115, 224; K2, 96, 99, 105; K3, 274, 178, 183; K4, 676, 755, 721; ja K5, 279, 177, 145 tsüstid, vastavalt lugejatele 1, 2 ja esialgsele mudelile. Lineaarse regressioonianalüüsi tulemuseks oli R2=0,94 lugeja 1 ja lugeja 2 vahel, R2=0,82 lugeja 1 ja algmudeli vahel ning R2=0,96 lugeja 2 ja lugeja vahel esialgne mudel.

Tüüpiline osa kolmest testimisjuhtumist, mis näitavad erinevusi Reader 1, Reader 2 ja esialgse mudeli vahel, on esitatud joonisel 5. Kollased nooled osutavad tsüstidele, mis olid lugejate või lugejate ja automatiseeritud meetodi vahel erinevalt segmenteeritud. Enamikul juhtudel määras mudel rühmitatud tsüstidele ühe sildi. Punane nool näitab erinevust lugeja 1 ja lugeja 2 vahel, kus lugeja 1 välistas ereda intensiivsuse, mida vaadeldakse neeruvaagna osana, kuid lugeja 2 tõlgendas seda piirkonda tsüstina.

Lõplik mudel: 20 juhtumi testikomplekt – tsüstide segmenteerimine

Tabel 3 võtab kokku sarnasusmõõdikud Reader 1, Reader 2 ja 20-juhtumitesti komplekti lõpliku mudeli vahel. Märkasime, et lugeja 1 ja lugeja 2 sarnasusmõõdikud näitavad esialgse 5-juhtumitestide komplekti tulemustega võrreldes suuremat ühtlust. Selle põhjuseks võib olla kallutatus, kuna mõlemad lugejad alustasid esialgse mudeli genereeritud esialgsest eksemplari segmenteerimisest. Lisaks täheldasime lõpliku mudeli ja mõlema lugeja vahel sarnast jõudlust, võttes arvesse, et testikomplekt sisaldab laia valikut ADPKD fenotüüpe.

TCV Bland-Altmani analüüs andis tulemuseks 12,5% ± 10,1% kallutatuse ja täpsuse Reader 1 ja Reader 2 vahel, 10,2% ± 11,2% Reader 1 ja ansambli mudeli vahel ning −2,3% ± 9,9% Reader 2 ja Reader 2 vahel. ansamblimudel ja 4,3 protsenti ± 9,3 protsenti Reader 1 koos Reader 2 ja ansamblimudeli keskmisega. Lineaarne regressioonanalüüs andis tulemuseks täiusliku kooskõla (R2=1.00) Lugeja 1 ja ansamblimudeli, Lugeja 2 ja ansamblimudeli ning lugeja keskmise ja ansamblimudeli vahel. Regressioonianalüüs lugeja 1 ja lugeja 2 vahel näitas peaaegu täiuslikku korrelatsiooni R2=0.98-ga. Joonisel 6 on näidatud TCV Bland-Altmani ja lineaarse regressiooni graafikud.

Tsüstilise indeksi Bland-Altmani analüüs andis tulemuseks 12,6% ± 10,5% täpsuse lugeja 1 ja lugeja 2 vahel, 10,2% ± 11,2% lugeja 1 ja ansamblimudeli vahel ning −2,4% ± 9,8% lugeja 2 ja lugeja vahel. ansamblimudel ja 4,3 protsenti ± 9,4 protsenti nii lugejate keskmise kui ka ansamblimudeli vahel. Parim tsüstiindeksi korrelatsioon oli mõlema lugeja keskmise ja ansamblimudeli vahel (R2=0.94). Lineaarne regressioonanalüüs andis tulemuseks R2=0.90 lugeja 1 ja lugeja 2 vahel, R2=0.92 lugeja 1 ja ansamblimudeli vahel, R2=0.90 lugeja 2 ja ansambli vahel mudel. Joonisel 7 on näidatud tsüstilise indeksi Bland-Altmani ja lineaarse regressiooni graafikud.

Lõplik mudel: 20 juhtumi testikomplekt – tsüstide arvu analüüs

Tsüstide segmenteerimise eksemplaridest saadud tsüstide koguarvu analüüsiti korrelatsiooni abil (joonis 8). Lugeja 2 ja ansamblimudel näitasid tugevaimat korrelatsiooni R2=0.96-ga, kus mudel tuvastas veidi rohkem tsüste kui Reader 2. Lugeja 1 ja lõpliku ansamblimudeli võrdlus näitab head ühtlust (R{{6} }.88), kus Reader 2 tuvastas enamikul juhtudel rohkem tsüste kui ansambli mudel. Vaatlejatevaheline keskmine tsüstide arv näitas aga suurepärast vastavust ansamblimudeli tsüstide arvuga (R2=0.94) (joonis 8d). Lõpuks näitas lugeja 1 ja lugeja 2 võrdlus madalaimat ühtlust R2=0.83-ga, kus lugeja 1 tuvastas rohkem tsüste kui lugeja 2.

Tüüpiline osa kolmest testimisjuhtumist on esitatud joonisel 9. Võime täheldada, et automaatne meetod tagab hea eksemplari segmenteerimise ADPKD juhtude jaoks, millel on mitu klastri tsüstid (mis on algoritmi jaoks kõige keerulisemad juhtumid) ja tulemused näevad visuaalselt välja. võrdne kahe lugeja eksemplari segmenteerimisega.

Lõpuks on TKV (st ADPKD hindamise peamise pildistamise biomarkeri) ja TCV ja tsüstide arvu võrdlus näidatud joonisel 10. Lineaarne regressioonanalüüs näitab, et 98 protsenti TCV variatsioonist on seletatav selle lineaarse seosega TKV-ga; vaid 53 protsenti tsüstide arvu varieerumisest on seletatav selle lineaarse seosega TKV-ga. See annab tõendeid selle kohta, et tsüstide arv võib lisaks TKV-le pakkuda täiendavat fenotüübilist teavet.

Arutelu

Selles uuringus tutvustame esimest sügavat õppimisviisi, et segmenteerida ADPKD patsientide MR-piltidel mitu rühmitatud tsüstijuhtumit. Prognoositava TCV, tsüstide arvu ja tsüstilise indeksi võrdlus kahe lugeja tulemustega näitas, et automaatne lähenemine võib luua täpsed 3D eksemplari tsüstide segmentatsioonid.

Süvaõppe mudelid nõuavad parimate tulemuste saavutamiseks suuri andmemahtusid. 3D-märkustega piltide puudumine oli uuringu alguses peamine kitsaskoht. Esialgse testikomplekti 5 käsitsi segmenteeritud kujutist nõudsid mitu nädalat ja need olid väga töömahukad. Kõige keerulisemad pildid on kaugelearenenud/raske ADPKD-ga patsientidelt, kus mitu tsüsti on koondunud kokku ja piirid ei ole nii määratletud kui siis, kui tsüstid on ümbritsetudneerudparenhüüm. Selle takistuse ületamiseks jagati uuring kahte ossa, et lahendada see probleem aktiivõppe abil. Uuringu esimene osa hõlmas esialgset mudelit, mis oli koolitatud väikese andmestiku põhjal. Uuringu teine ​​osa hõlmas lõpliku mudeli väljatöötamist suurema andmekogumi abil, kus võrdlusstandard initsialiseeriti esialgse mudeliga.

Selle uuringu tulemused on võrdsed Bae jt tulemustega. [33], kus ta pakkus välja poolautomaatse meetodi eksemplari tsüstide segmentatsioonide genereerimiseks. Poolautomaatse segmenteerimisega võrreldes piirkonnapõhise mahuga teatatud TCV kõrvalekalle oli –9 protsenti, tsüstide arvu R2=0.98. Meie uuringus oli TCV kõrvalekalle lugejate ja täielikult automatiseeritud meetodi vahel vastavalt 10,2 protsenti ja –2,3 protsenti, tsüstide arvu R2=0.94. Väärib märkimist, et meie uuringu testimiskomplekt hõlmas kõrgema TCV ja suurema tsüstide arvuga juhtumeid ning pakutud ansamblimudel ei vaja kasutajapoolset sisendit.

MR-piltidel olevad tsüstid võivad sõltuvalt tsüsti koostisest olla erineva intensiivsusega. Enamik ADPKD tsüste on lihtsad tsüstid (st ei sisalda tahkeid komponente) ja neid näidatakse T2-kaalutud MR-piltidel hüperintensiivsete piirkondadena. Komplitseeritud tsüstid (nt valgulised, hemorraagilised, nakatunud tsüstid) nähakse sageli aga hüpointensiivsete piirkondadena [38]. Sõltuvalt MR-skanneri magnetvälja tugevusest täheldatakse teist tsüstide intensiivsuse erinevuse allikat. Kolme tesla skanneritel on suurem magnetvälja tugevus ja need pakuvad kõrgemat SNR-i, seega paremat pildikvaliteeti ja tsüsti kontrastsust. Täpse tsüstide segmenteerimise tagamiseks on vaja automatiseeritud meetodit

olla intensiivsuse muutumatu. Mudeli üldistavuse suurendamise eesmärgil koolitati lõplikku ansamblimudelit piltidele, mis saadi 1.5-T ja 3-T MR-skanneriga. Lisaks lisasime pilte, mis kujutavad keerulisi tsüste paljudes ADPKD fenotüüpides ja erineva eraldusvõimega piltides. Lisaks hõlmas kohort juhtumeid, kus TKV-d ulatusid tavapärasele lähedasest mahustneerud(~ 290 ml) kuni peaaegu 10,000 ml mahuni, mis katab praktiliselt kogu ADPKD telerite valiku. Kaks näidet ansamblimudeli paranenud üldistatavusest võrreldes esialgse mudeliga on toodud joonisel 11, kus lõplik mudel suutis tuvastada madalama intensiivsusega tsüstid.

The conversion from instance cyst segmentation to semantic edge-core segmentation for training the model is another key step, particularly for clustered cysts. The semantic edge segmentation for the initial model was generated by applying a dilation morphology operator. This approach was chosen because some cysts are present on only one slice and an erosion approach would not preserve these cysts after the conversion. The dilation method provided a good estimation of the cyst edges on the in-plane view (x and y view) but, due to the lower resolution on the Z dimension, the posterior and anterior cyst edges interfered with adjacent cysts. For the final model, we decided to generate the semantic edge segmentation applying the erosion morphology operator. To preserve all cysts, the MR images and the corresponding instance segmentations were interpolated to a size 512 × 512 × 3Z. Thus, cysts present on only one slice would be interpolated to 2 additional slices. We up-sampled the images with an in-plane matrix size of 256 × 256 to 512 × 512 because the ensemble model requires a consistent input matrix size. To account for the higher class imbalance (core class >>servaklass) interpolatsiooni tõttu teostasime servade 2D-laienduse. TCV ja tsüstide arvu paranenud säilimine erosioonimeetodil võrreldes laienemisega on näha joonisel 12.

Lõpliku mudeli kujundus hõlmas kolmest erinevast mudelist koosnevat hääletusansamblit. Need mudelid olid neljakordse ristvalideerimise meetodil saadud valideerimiskomplekti kolm parimat tulemuslikkust. Enamushääletusalgoritmiga ansamblimudelit rakendati, kuna hääletavaid ansambleid iseloomustab stabiilsem ja parem jõudlus kui üksikmudelid [36]. Üksikute mudelite, ansamblimudeli ja lugejate vahelised kokkuleppetulemused leiate lisamaterjalide rubriigist.

MR-pildistamise üheks piiranguks on väike eraldusvõime mikrotsüstide näitamiseks. Keskmine voksli maht selles uuringus oli {{0}}.0076 ± 0,0034 ml. Kuid MR-piltidel esineva müra (st soola ja pipra müra) tõttu rakendasime pärast järeltöötlust tsüsti suuruse madalama läve 4 vokslit (keskmine tasapinna läbimõõt 2,76 ± 0,48 mm).

Objektide tuvastamise lähenemisviisid eksemplaride segmenteerimiseks kattuvate ja rühmitatud eksemplaride jaoks muutuvad üha populaarsemaks tänu nende suurele jõudlusele looduslike ja 2D-meditsiiniliste kujutiste puhul [18–26]. Kuid kõrged GPU-mälunõuded muudavad selle lähenemisviisi võimatuks 3D-piltide puhul, millel on palju eksemplare. Liu et al. [27] rakendas CT-piltidel kopsusõlmede segmenteerimiseks maski R-CNN-põhise mudeli. Kuigi ADPKD korral ei esine kopsusõlmesid samas koguses kui tsüstid, on Liu et. al kasutas plaastripõhist strateegiat, et võtta arvesse CT-skaneeringute mõõtmeid ja piiratud GPU-mälu. Püüdes vähendada arvutuslikku keerukust, on mõned teadlased kasutanud 4 värvi teoreemiga sarnaseid meetodeid, et treenida süvaõppe algoritmi, et ennustada 2D eksemplari segmenteerimist [39]. Kuigi see lähenemine toimib hästi 2D-kujutiste puhul, on ebaselge teada, kui palju värve on vaja 3D-piltide jaoks, eriti meie probleemi puhul, mis seisneb sadade kuni tuhandete tsüstide automaatse tuvastamise ja eraldi eristamises. Selles uuringus kasutasime semantilise eksemplari segmenteerimise lähenemisviisi, mis toimis väga sarnaselt kahe kogenud lugejaga ja kuigi kasutasime kujutiste teisendamiseks eksemplarist semantiliseks ja semantiliseks eksemplari segmenteerimiseks morfoloogiaoperaatoreid, oleme näidanud, et need toimingud ei mõjutavad lõplikku tsüstide mahtu ja tsüstide koguarvu. Eksemplari segmenteerimise strateegiate edasine arendamine võib vähendada vajadust nii kõrgete mälunõuete järele ja anda tulemuseks tsüsti eksemplari segmenteerimise, kasutades objekti lokaliseerimisel/tuvastuspõhist meetodit.

Peamine uuringu piirang oli kullastandardi puudumine. Täpne tsüstide arv ja TCV väärtused ei olnud kättesaadavad; seega tuginesime kahe koolitatud meditsiinilise pildilugeja täpsusele. Teine piirang oli kohordi väike suurus, mis takistas meil analüüsida nende uute pildistamisbiomarkerite kliinilist väärtust; sellest hoolimata on see meie tulevase töö peamine eesmärk. Lõpuks olid pildid ainult meie asutusest, mis saadi sama pildistamisprotokolliga. Suurem andmekogum erinevate asutuste ja masinate tarnijate näidistega võib aidata tsüsti eksemplari mudelit veelgi üldistada. Lisaks saab seda tööd laiendada aktiivse õppimise kaudu teistele MR-järjestustele, nagu T2-kaalutud rasvata küllastunud kujutised ja T1-kaalutud kujutised, mis võivad mudelile lisada uut tsüsti morfoloogiateavet. Lisaks saab sarnast arhitektuuri rakendada ka muude kujutise modaalsuste, näiteks CT-skaneeringute jaoks.

Järeldused

Oleme välja töötanud täielikult automatiseeritud meetodi neerutsüstide 3D-segmenteerimiseks T2 MR-piltidel kerge, mõõduka ja raske haigusega ADPKD patsientidele. Tulevased uuringud suurema andmekogumiga on vajalikud, et paremini mõista, kuidas need täiendavad biomarkerid on seotud patsiendi haigusseisundi ja prognoosiga.

Deklaratsioonid

Huvide konfliktAutorid ei deklareeri konkureerivaid huve.

Avatud juurdepääsSee artikkel on litsentsitud Creative Commons Attribution 4.0 Rahvusvaheline litsents, mis lubab kasutamist, jagamist, kohandamist, levitamist ja reprodutseerimist mis tahes andmekandjal või vormingus, tingimusel et annate originaalautori(te)le asjakohase tunnustuse. ) ja allikas, lisage link Creative Commonsi litsentsile ja märkige, kas muudatusi on tehtud. Selles artiklis olevad pildid või muu kolmanda osapoole materjal sisaldub artikli Creative Commonsi litsentsis, kui materjali krediidilimiidil ei ole märgitud teisiti. Kui materjal ei sisaldu artikli Creative Commonsi litsentsis ja teie kavandatud kasutamine ei ole seadusega lubatud või ületab lubatud kasutust, peate hankima loa otse autoriõiguse omanikult.

Viited

1. Willey C, Kamat S, Stellhorn R, Blais J: Üleriigiliste andmete analüüs autosomaalse domineeriva polütsüstilise neeruhaiguse esinemissageduse ja diagnoositud levimuse kindlaksmääramiseks USA-s: 2013–2015. Neeruhaigused 5:107-117, 2019

2. Torres VE, Harris PC, Pirson Y: Autosomaalne dominantne polütsüstiline neeruhaigus. The Lancet 369:1287-1301, 2007

3. Perrone RD et al.: Neeru kogumaht on neerufunktsiooni languse ja lõppstaadiumis neeruhaiguse progresseerumise prognostiline biomarker autosomaalse domineeriva polütsüstilise neeruhaigusega patsientidel. Kidney Int rep 2:442-450, 2017

4. Alam A et al.: Neeru kogumaht autosomaalse domineeriva polütsüstilise neeruhaiguse korral: haiguse progresseerumise ja terapeutilise efektiivsuse biomarker. Am J Kidney Dis 66:564-576, 2015

5. Tangri N, Hougen I, Alam A, Perrone R, McFarlane P, Pei Y: Neeru kogumaht kui haiguse progresseerumise biomarker autosomaalse domineeriva polütsüstilise neeruhaiguse korral. Can J Kidney Health Dis 4:2054358117693355, 2017

6. Harris PC et al.: tsüstide arv, kuid mitte tsüstilise kasvu kiirus on seotud muteerunud geeniga autosomaalse domineeriva polütsüstilise neeruhaiguse korral. J Am Soc Nephrol 17:3013-3019, 2006

7. Irazabal MV et al.: Autosomaalse domineeriva polütsüstilise neeruhaiguse kujutise klassifikatsioon: lihtne mudel patsientide valimiseks kliinilisteks uuringuteks. J Am Soc Nephrol 26:160-172, 2015

8. Bae KT et al.: Autosomaalse domineeriva polütsüstilise neeruhaiguse laiendatud kujutise klassifikatsioon. J Am Soc Nephrol, 2020

9. Qi CR, Su H, Mo K, Guibas LJ: Pointnet: Deep learning on point sets for 3d classification and segmentation. Proc. Esitatud CVPR2017 aastakoosolekul

10. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J: Semantilise segmenteerimise jaoks rakendatud süvaõppe tehnikate ülevaade. arXiv eeltrükk, 2017

11. Gupta A, Vedaldi A, Zisserman A: Sünteetilised andmed teksti lokaliseerimiseks loomulikes kujutistes. Proc. Esitatud CVPR2017 aastakoosolekul

12. Litjens G jt: Küsitlus sügava õppimise kohta meditsiinilise pildi analüüsis. Med Image Anal 42:60-88, 2017

13. Sharma K et al.: Neerude automaatne segmenteerimine, kasutades süvaõpet neerude kogumahu kvantifitseerimiseks autosomaalse domineeriva polütsüstilise neeruhaiguse korral. Sci Rep 7:2049, 2017

14. Turco D, Valinoti M, Martin EM, Tagliaferri C, Scolari F, Corsi C: Polütsüstiliste neerude täielikult automatiseeritud segmenteerimine mittekontrastkompuutertomograafiast: teostatavusuuring ja

esialgsed tulemused. Acad Radiol 25:850-855, 2018

15. Kline TL et al.: Kunstliku mitme vaatleja sügava närvivõrgu toimimine polütsüstiliste neerude täielikult automatiseeritud segmenteerimiseks. J Digit Imaging 30:442-448, 2017

16. van Gastel MD, Edwards ME, Torres VE, Erickson BJ, Gansevoort RT, Kline TL: Autosomaalse domineeriva polütsüstilise neeruhaiguse all kannatavate patsientide MR-piltide automaatne mõõtmine neerude ja maksa mahtude põhjal. J Am Soc Nephrol 30:1514-1522, 2019

17. He K, Gkioxari G, Dollár P, Girshick R: Mask r-cnn. Proc. IEEE rahvusvahelise arvutinägemise konverentsi materjalid

18. Prabhakar G, Kailath B, Natarajan S, Kumar R: Takistuste tuvastamine ja klassifitseerimine kasutades süvaõpet jälgimiseks suurel kiirusel autonoomses sõidus. Proc. 2017. aasta IEEE 10. piirkonna sümpoosion (TENSYMP)

19. Huang Z, Zhong Z, Sun L, Huo Q: Mask R-CNN püramiidi tähelepanuvõrguga stseeni teksti tuvastamiseks. Proc. 2019. aasta IEEE talvekonverents arvutinägemise rakenduste (WACV) kohta

20. Yu Y, Zhang K, Yang L, Zhang D: puuviljade tuvastamine maasikakoristusroboti jaoks mittestruktuurses keskkonnas, mis põhineb Mask-RCNN-il. Comput Electron Agric 163:104846, 2019