Vokaalkõne tuvastamine roti elektroentsefalograafiast, kasutades pika lühimälu närvivõrku, 2. osa

materjalid ja meetodid

Loomad

Minimaalne nõutav valimi suurus arvutati 11–19, viidates varasematele loomkatsetele, mis iseloomustasid närvivastuseid inimese erinevatele silpidele [12, 13, 49].

Närviline reaktsioon ja mälu on inimese intellektuaalse tegevuse kaks lahutamatut aspekti. Neuraalne reaktsioon viitab inimese aju reaktsioonikiirusele ja täpsusele mitmesuguse sensoorse teabe vastuvõtmisel ja töötlemisel. Mälu viitab inimese aju võimele säilitada ja meenutada minevikukogemusi.

Paljud inimesed usuvad, et seos närvireaktsioonide ja mälu vahel on väga nõrk, kuid tegelikult on nende vahel tihe seos. Inimese jaoks ei ole teatud olukordades oluline mitte ainult kiire reageerimisvõime, vaid veelgi olulisem – mälu. Näiteks kui me puutume kokku hädaolukorraga sarnasega, võimaldavad meie närvireaktsioonid kiiresti reageerida ja tegutseda. Praegu on meie mälul meie eluohutusele saatuslik mõju. Seetõttu võib öelda, et närvireaktsioon ja mälu on omavahel seotud ning mõlemad on hädavajalikud.

Niisiis, kuidas parandada närvireaktsiooni ja mälu? Esiteks saame närvireaktsioonide parandamiseks läbi viia palju treeninguid, näiteks erinevaid spordialasid, kogu keha reaktsioonitreeningut, nägemis- ja kuulmistreeningut jne. Lisaks saab neuroloogilisi reaktsioone parandada ka hea toitumise ja magamisharjumused. Mälu parandamiseks tuleb õppida palju lugemist ning tugevdada loogilist mõtlemist ja mälutreeningut, näiteks mängida mõnda intellektuaalselt väljakutsuvat mängu või suhelda teistega, et edendada oma mõtlemise arengut.

Lõpuks on oluline märkida, et nii närvireaktsioone kui ka mälu saab parandada. Niikaua kui pingutame ning läbimõeldult treenime ja areneme, saame selles valdkonnas areneda. Seetõttu suhtugem positiivselt neuroloogiliste reaktsioonide ja mälu arendamisse ning saavutagem oma elus rohkem edusamme ja edu. On näha, et me peame oma mälu parandama. Cistanche deserticola võib oluliselt parandada mälu, sest Cistanche deserticola on traditsiooniline Hiina ravimmaterjal, millel on palju ainulaadseid toimeid, millest üks on mälu parandamine. Hakkliha tõhusus tuleneb selles sisalduvatest erinevatest toimeainetest, sealhulgas hapetest, polüsahhariididest, flavonoididest jne. Need koostisosad võivad aju tervist mitmel viisil edendada.

Mälu parandamiseks klõpsake teadmise lisandeid

Arvestades nii teaduslikku paikapidavust kui ka loomaeetikat, kaasati uuringusse kokku 19 isast Sprague-Dawley rotti (325–400 g, katse ajal 11–13 nädala vanused, Orient Bio Inc., Seongnam, Korea).

Sellesse uuringusse kaasati ainult isasrotid, et vältida östrogeeni võimalikku mõju EEG-le [50]. Loomi hoiti individuaalselt standardsetes plastpuurides, millel oli vaba juurdepääs toidule ja veele, ning neid hoiti konstantsel temperatuuril (21 ± 1˚C) 12-tunnise valguse/pimeduse tsükliga.

Kõik katseprotokollid ja protseduurid kiitis heaks Gwangju teaduse ja tehnoloogia instituudi (GIST) institutsionaalne loomade hooldamise ja kasutamise komitee (IACUC).

Komitee andmetel kuulus uuring Ameerika Ühendriikide Põllumajandusministeeriumi D-kategooriasse; valu või stressi leevendati anesteetikumide, analgeetikumide ja/või rahustite või muude valu ja stressi leevendavate meetoditega.

Seetõttu viidi kõik kirurgilised protseduurid ja loomade hooldamine läbi vastavalt nende juhistele, et tagada loomadele minimaalne ebamugavustunne (kinnitusnumber: GIST-2019-047).

Kirurgilised protseduurid

Kõigile rottidele tehti mikroelektroodide implanteerimise operatsioon, et saada EEG-signaale vastuseks kõneheli stiimulitele. Enne operatsiooni tuimastati rotid induktsioonkambris isofluraaniga (5%), mis oli segatud gaasilise hapnikuga (voolukiirus 0,6 l/min).

Kui rotid kaotasid sirgumise refleksi, viidi nad stereotaktilisse raami ja rakendati anesteetilist ninakoonust. Hapnikuga segatud isofluraangaas (säilitusannus 1,5%) suunati ninakoonusse.

Järgmisena sisestati kõrvaklapid kõrvakanalitesse, et pea fikseerida. Seejärel raseerisime karva kõrvadest kuni silmade vahele. Peanahale tehti joonplokk 2% lidokaiiniga ja kolju paljastamiseks tehti sisselõige.

Järgmisena eemaldati osaliselt kahepoolsed oimulihased ja igale AAF-ile viidi läbi durotoomia hambapuuriga, et sisestada epiduraalsed EEG-elektroodid. Elektrood oli üksik mikroelektrood, mis valmistati eritellimusel, kasutades mikrokruvi, hõbedast traati ja pistikut. AAF-i koordinaadid olid järgmised: bregmast 4 mm taga, 7,6 mm külgmine ja 4 mm ventraalne [51].

Lõpuks ühendati implanteeritud elektroodid mitme kontaktiga konnektoriga ja kinnitati luutsemendi abil kolju külge. Pärast kõigi kirurgiliste protseduuride lõpetamist süstiti rottidele antibiootikumi (tseftasool 20 mg/kg, Guju Pharma Co, Korea) ja valuvaigistit (ketoprofeen 2,5 mg/kg, Uni Biotech, Korea) intramuskulaarselt kolmel järjestikusel päeval.

Kõigil loomadel lasti nädal aega taastuda ja neid jälgiti tähelepanelikult kõigi valunähtude suhtes, nagu söögiisu vähenemine, küürus kehahoiak või piloerektsioon.

Kõne stimulatsioon

Kõnehelide sagedusteave on teadaolevalt oluline erinevate vokaalide kategooriliseks tajumiseks ja äratundmiseks [52]. Lisaks varieeruvad AEP komponendid vastavalt erineva sagedusega helidele ja neid erinevaid ajureaktsioone saab kasutada helituvastusmehhanismide uurimiseks [9]. Seetõttu valiti viis erinevat vokaalikõne häälikut /a/, /e/, /i/,/o/ ja /u/, millel on iga kõnestiimuli jaoks väga erinevad formantsagedused [53].

Kõik kõnestiimulid genereeriti Google'i pakutava teksti kõneks muutmise programmi abil ja helikõrgust suurendati ühe oktaavi võrra, kasutades funktsiooni MATLAB 2017b (Mathworks, Inc., MA, USA) helikõrguse nihutamist, et kohandada roti kuulmisvahemikku, ja seda rakendati. juurkeskmise ruudu normaliseerimine.

Stiimulid edastati kõlari (SRS-X88, SONY Co., Jaapan) kaudu, mis asus puuri ühe külje kohal, umbes 15 cm kaugusel roti peast, ja heli maksimaalne intensiivsus kalibreeriti tasemele 60 dB SPL. Häälikukõne heli analüüsiti ajakulu, lineaarse ennustava koefitsiendi (LPC) spektrite ja spektrogrammide järgi, et kontrollida, kas igal stiimulil on oma heliomadus (vt joonis 1).

Kuigi ratkullamissüsteem ei ole optimeeritud inimese vokaalide heli tajumiseks, eeldasime, et see suudab tuvastada enamiku helistiimuleid, kuna heli sagedus kuulub roti kuulmisvahemikku, st 0,5 kHz kuni 64 kHz 60 dB SPL juures [54].

Andmete hankimine

EEG-signaali vastused igale vokaaliheli stiimulile saadi kahepoolsest AAF-ist pärast ühenädalast taastumisperioodi. Esiteks tuimastati rotid induktsiooniks isofluraaniga (5%), mis oli segatud gaasilise hapnikuga (voolukiirus 0,6 l/min).

Pärast seda, kui rotid kaotasid püstuvusrefleksi, säilitati salvestamise ajal anesteesia isofluraaniga (1,5%) ninakoonuse kaudu, et vältida EEG-signaalide saastumist liikumisartefaktidest. Järgmisena ühendati mitme kontaktiga pistik salvestusseadmega (g.USBamp ja g.HEADstage, g.tec medical engineeringGmbH, Graz, Austria), mis omandas signaale 1200 Hz diskreetimissagedusel.

Epiduraalne EEG salvestus viidi läbi 1500 sekundi jooksul seansi kohta, mille jooksul viis vokaalikõnet esitati igale rotile eksperimentaalse kõlari kaudu juhuslikult. Iga kõnestiimul ilmnes ühe seansi jooksul 130–150 korda stiimuli kohta.

Piisavate EEG-andmete saamiseks korrati salvestusseanssi viis järjestikust päeva. Kõik salvestused tehti helikindlas kabiinis, et maksimeerida SNR-i. Katse skemaatiline diagramm on näidatud joonisel 2.

EEG signaali eeltöötlus ja analüüs

Saadud EEG-signaale analüüsiti vastusena igale vokaalihelile, kasutades programmis MATLAB 2017b (Mathworks, Inc., MA, USA) FieldTriptoolbox [55]. Esimeses etapis võeti töötlemata EEG-andmed alla 1200–250 Hz ja ribapääs filtreeriti sagedusvahemikus 1–60 Hz.

Seejärel segmenteeriti pidevad EEG andmed stiimulispetsiifilisteks katseteks 500 ms stimulatsioonieelse perioodiga ja 1500 ms stimulatsioonijärgse perioodiga. Algtaseme korrigeerimine viidi läbi stimulatsioonieelse perioodi põhjal. Artefaktide jääkide kõrvaldamiseks lükati saastunud katsed visuaalse kontrolli meetodite abil käsitsi tagasi.

Pärast eeltöötlust keskmistati artefaktivabad EEG-andmed iga kõnestiimuli jaoks, et luua AEP-lainekujud, ja arvutati keskmistatud lainekujude TFR.

TFR-analüüs viidi läbi Morleti laineliste põhjal, et hinnata iga kõnestiimuli spektraalvõimsuse dünaamilisi muutusi aja jooksul. Kasutades keskmistatud AEP lainekujusid ja nende TFR-i, määrati kindlaks aja- või sagedusvahemik, mis peegeldas peamiselt aju reaktsiooni kõnestiimulile. TFR-analüüsi puhul viidi läbi dispersioonanalüüsi (ANOVA) test ja Bonferroni korrektsioon, et teha kindlaks statistiline olulisus EEG-signaalide TFR-ide vahel iga kõnestiimuli puhul [48].

Nende tulemuste kaudu korraldati eeltöödeldud EEG-andmed ümber hilisemaks klassifitseerimiseks kasutamiseks. Tagamaks, et rekonstrueeritud andmed on sisukad, piirati kõigi EEG-uuringute aja- ja sagedusvahemikke. Ajavahemikuks määrati 0,2–0,8 s ja sagedusvahemikuks 1–60 Hz. Pärast aja- ja sagedusvahemike uuesti määratlemist normaliseeriti kõik EEG uuringud z-skoori normaliseerimisega, mis on tavaliselt kasutatav meetod uuringute varieeruvuse vähendamiseks, säilitades samal ajal uuringutes sarnase tendentsi [56, 57].

On hästi teada, et üldine klassifikatsiooni jõudlus paraneb pärast z-skoori normaliseerimist [56]. Pärast seda segati z-skooriga normaliseeritud andmekogum juhuslikult ja jaotati koolituskomplektiks (90%) ja testkomplektiks (10%), et kasutada kõnetuvastuse klassifitseerimiseks süvaõppe ja masinõppe klassifikaatorite sisendeid.

Kahesuunalised pikaajalised lühiajalised mäluvõrgud

LSTM on spetsiaalne korduva närvivõrgu (RNN) arhitektuur, mis ületab kaduva/plahvatava gradiendi probleemi, lisades mälurakkude olekut kontrollivad väravastruktuurid [46, 58].

Sel põhjusel on LSTM näidanud stabiilset ja võimsat jõudlust pikaajaliste sõltuvuste modelleerimiseks mitmesugustes ajalistes või järjestikustes ülesannetes [46, 58–61]. LSTM-i struktuur on näidatud joonisel 3A. Peamine erinevus tavapärase RNN-i ja LSTM-i vahel on mälurakk ct, mis suudab säilitada olekuteavet, mida moduleerivad kolme tüüpi iseparameetritega väravad: sisendvärav, unustamisvärav ft ja väljundvärav.

Sisendvärav otsustab, kas mälulahtrisse kogutakse uus sisend; unustamisvärav ft võib tühistada mäluelemendi varasema oleku ct−1; ja väljundvärav reguleerib väljundi levimist praegusest mäluelemendist ct väljundreaktsiooni ht. LSTM-i võtmetöötlust kirjeldatakse järgmiste võrranditega:

ð6Þkus σ ja tanh on mittelineaarsed aktiveerimisfunktsioonid. Paisu aktiveerimise funktsioonina kasutatakse logistilist sigmoidfunktsiooni, mis on defineeritud kui σ(x)=1/(1+e−x), ja hüperboolset tangensi funktsiooni, tanh(x)=( ex−e−x)/(ex+e−x), kasutatakse ploki sisendi ja väljundi aktiveerimise funktsioonina. Kahe vektori elemendipõhist korrutamist tähistatakse �; W, R tähistavad kaalumaatriksit ja b tähistab kallutatuse vektorit, mis on õpitavad parameetrid, mis kontrollivad iga

te.LSTM on tõestatud kui võimas struktuur järjestikuste andmete käsitlemiseks [59]; standardne LSTM hõivab aga ainult varasema teabe jadast edasisuunas. Struktuuri parandamiseks rakendati BiLSTM.

BiLSTM on abisuunalise RNN-i LSTM-i versioon [47, 62]. Sellel on kaks LSTM-i kihti, nagu on näidatud joonisel 3B; üks töötleb teavet edasisuunas, teine ​​töötleb seda tagasisuunas.

Nii mineviku- kui ka tulevasele teabele juurdepääsu kaudu saavad need struktuurid koguda rikkalikku teavet järjestusest. Seega näitab olemasolev kirjandus, et BiLSTM toimib EEG-signaalide klassifitseerimisel iga ülesande järgi paremini kui standardne LSTM.

7].Selles uuringus kasutati BiLSTM-võrku viie erineva vokaalikõne klassifitseerimiseks, kasutades ühekordseid EEG-signaale. Seadistati BiLSTM-i kiht, mis sisaldas 600 LSTM-i ühikut, ja ülepaigutamise vältimiseks määrati LSTM-i kihtide väljalangevuse suhe väärtusele 0,3 [68].

Pärast LSTM-i kihte ühendati peidetud olekud täielikult ühendatud kihti softmax-i aktiveerimisfunktsiooniga, mida kasutati mitme klassi klassifitseerimiseks. Kategooriline ristentroopia võeti ADAM-i optimeerijaga [69] kasutusele kadufunktsioonina ning algseks õppimiskiiruseks ja õppimiskiiruse vähenemiseks määrati vastavalt 1e-3 ja 1e-6. Lisaks treeniti mudelit 500 epohhi ja partii suurusega 64. Õppimiskõver saavutas stabiilse platoo 500 epohhi jooksul.

hs.Neid hüperparameetreid kohandati nii, et see sobiks mudeli andmetega kõige paremini. Mudeli toimivuse hindamiseks kasutati kihilist 10-foldcross-validation (10-CV). K-kordne ristvalideerimine on tõhus meetod klassifitseerimisel kasutatavate mudelite edukuse määramiseks ja üldiselt peetakse rakendusliku masinõppe kõige mõistlikumaks parameetriks k=10.

Mudeli realiseerimiseks kasutati Kerase teeki [71] koos TensorFlow taustaprogrammiga [72] ja Pythonis Scikit-Learni teeki [73].

For more information:1950477648nn@gmail.com