Vokaalkõne tuvastamine roti elektroentsefalograafiast, kasutades pika lühimälu närvivõrku, 1. osa

Abstraktne

Aastate jooksul on kõne tajumise ja äratundmise mehhanismide uurimiseks tehtud märkimisväärseid uuringuid.

Kõnetaju ja mälu vahel on lahutamatu seos. Kõne tajumine on meie jaoks oluline võime olla teadlik helisignaalidest ja mälu on oluline viis teabe salvestamiseks ja hankimiseks. Kui suudame kõnet paremini tajuda, suudame ka kuuldava teabe paremini meelde jätta.

Uuringud näitavad, et kõne taju ja mälu seos on kahesuunaline. Ühest küljest võib halb kõne tajumine põhjustada mäluhäireid. Seda seetõttu, et kui me ei kuule kõnet selgelt, ei suuda me kuuldud teavet täpselt meeles pidada. Teisest küljest võib tugev kõnetaju parandada meie mälu. Kui suudame kõnet õigesti tajuda ja mõista, mäletame ka kuuldut kergemini.

Seetõttu peaksime mälu parandamiseks keskenduma oma kõnetaju oskuste arendamisele. Seda on võimalik saavutada kuulamise ja kõne mõistmise oskuste treenimisega. Saame parandada oma kõnetaju ja mälu selliste tegevustega nagu salvestiste kuulamine, filmide vaatamine ja keeletundides osalemine.

Lühidalt öeldes on kõnetaju ja mälu vahel tihe seos ning mälu parandamiseks peaksime keskenduma oma kõnetaju oskuste arendamisele. Aktiivse koolituse ja praktika abil saame pidevalt parandada oma kõnetaju taset ning kuuldut paremini mõista ja meelde jätta. On näha, et peame parandama mälu ja Cistanche deserticola võib oluliselt parandada mälu, sest Cistanche deserticola suudab reguleerida ka neurotransmitterite tasakaalu, näiteks tõsta atsetüülkoliini ja kasvufaktorite taset. Need ained on mälu ja õppimise jaoks väga olulised. Lisaks võib liha parandada ka verevoolu ja soodustada hapniku kohaletoimetamist, mis tagab aju piisava toitainete ja energia kättesaamise, parandades seeläbi aju elujõudu ja vastupidavust.

Lühimälu parandamiseks klõpsake nuppu Tea

Elektroentsefalograafia (EEG) on võimas vahend ajutegevuse tuvastamiseks; seetõttu on seda laialdaselt kasutatud kõnetuvastuse neuraalse aluse määramiseks.

Eelkõige on kõnetuvastuse klassifitseerimisel tähelepanu keskpunktis sügaval õppimisel põhinevad lähenemisviisid, kuna need suudavad täielikult õppida ja eraldada esinduslikke funktsioone.

Selle uuringu eesmärk oli tuvastada konkreetsed komponendid, mis on potentsiaalselt seotud foneemide esitusega roti ajus, ja eristada ajutegevust iga vokaali stiimuli jaoks ühekordse katse alusel, kasutades kahesuunalist lühiajalise mälu (BiLSTM) võrku ja klassikalisi masinõppe meetodeid.

Kasutati üheksateist isast Sprague-Dawley rotti, kellele tehti mikroelektroodide implanteerimise operatsioon, et salvestada kahepoolsete eesmiste kuulmisväljade EEG-signaale. Valiti viis erinevat vokaalikõne stiimulit, /a/, /e/, /i/, /o/ ja /u/, millel on väga erinevad formantide sagedused. Juhuslikult antud täishäälikute stiimulite all registreeritud EEG eeltöödeldud minimaalselt ja normaliseeriti z-skoori teisendusega, mida kasutati kõnetuvastuse klassifitseerimise sisendina.

BiLSTM-i võrk näitas klassifikaatorite seas parimat jõudlust, saavutades üldise täpsuse, f{{0}}skoori ja Coheni κ väärtused vastavalt 75,18%, 0,75 ja 0,68. kasutades 10-kordset ristvalideerimise meetodit.

Need tulemused näitavad, et LSTM-i kihid suudavad tõhusalt modelleerida järjestikuseid andmeid, nagu EEG; seega saab informatiivseid funktsioone tuletada BiLSTM-i abil, mis on koolitatud täieliku õppimisega ilma täiendavate käsitsi loodud funktsioonide ekstraheerimismeetoditeta.

Sissejuhatus

Kõne kannab ajju tohutul hulgal teavet ning käituvate loomade helide äratundmine ja kategoriseerimine on aju üks tüüpilisi omadusi.

Arvestades selle tähtsust, on kõne helituvastuse mehhanisme uuritud juba üle 100 aasta. Üks esimesi kõnetuvastuse neurolingvistilisi uuringuid viidi läbi vaatlusuuringuga 1870. aastatel Saksa neuropsühhiaater, kes leidis ülemise ajalise gyruse otsustava rolli kõne tajumisel, järeldades, et kõnetuvastuse puudujääk on seotud vasaku ülemise temporaalse gyruse kahjustusega. 1].

Praegu on teada, et kõnetuvastus tugineb valdavalt dorsolateraalsetele oimusagaratele, sealhulgas ülemisele oimusagarale, mis sisaldab esmast kuulmiskoort (A1) ja eesmist kuulmisvälja (AAF) [2].

Kuigi foneemide ajus kodeerimise ja tõlgendamise viis on endiselt vastuoluline, on laialt levinud seisukoht, et heli tuvastamine on kategooriline. See tähendab, et eri foneetilise kategooria stiimulite puhul on diskrimineerimine parem kui samasse kategooriasse kuuluvate stiimulite puhul, isegi kui akustilised erinevused on samaväärsed [3, 4].

Mitte ainult inimeste, vaid ka loomade tajusüsteemid sorteerivad pidevalt muutuvaid helistiimuleid diskreetsete kategooriate hulka [5].

Seoses neurofüsioloogiliste uuringute edusammudega on elektroentsefalograafiat (EEG) laialdaselt kasutatud neuroteadust ja närvitehnoloogiat hõlmavates uuringutes [6].

Kõrge ajaline eraldusvõime ja tundlikkus erinevate funktsionaalsete ajuseisundite suhtes teevad EEG-st võimsa vahendi reaalajas ajutegevuse uurimiseks ning kategoorilise taju neuraalse aluse valgustamise vastu on kasvanud huvi. Traditsiooniliselt registreeritakse inimese uuringutes EEG-signaalid mitteinvasiivselt peanahast. Heli- või kõnetaju tasandil kasutatakse kategoorilise taju neuronaalsete korrelaatide uurimiseks laialdaselt ebakõla negatiivsust (MMN), kuulmise esilekutsutud potentsiaali (AEP) komponenti, mille kutsuvad esile veidrad helid [7, 8]. Naatanen jt. tõendid keelest sõltuvate vokaalide esituste kohta inimese ajus [9].

Teises uuringus uuriti leksikaalsete toonide kategoorilist tajumist ja leiti, et kategooriatevaheline kontrast kutsus esile suurema MMN-i kui kategooriasisese eristuse [10]. Loomkatsetes saadi invasiivsete protseduuride abil täpsemad EEG signaalid.

Näiteks on uuritud kategoorilise taju ja erinevate helide neuraalseid esitusi, kasutades aktsioonipotentsiaali rakuvälist salvestamist.

Laululindude juttkeha projitseerivad neuronid näitavad kategoorilisi kuulmisreaktsioone ja on väga tundlikud noodi kestuse muutuste suhtes [11]. Lisaks Kilgard et al.uuris kaashäälikute ja vokaalide erinevaid neuraalseid esitusi, kasutades intraparenhümaalset salvestust roti ajus. Salvestades mitme- ja üheühikulisi vastuseid inferior colliculus'ist ja A1-st, pakkusid nad välja, et nael kodeerib täishäälikuid, samal ajal kui naelu ajastus kodeerib kaashäälikuid [12, 13].

Heli eristamise koolituse mõju autismi rotimudelil uuriti ka varasemate leidude põhjal, mis seostasid neuraalseid reaktsioone helistiimulitele heli tajumise võimega [14].

Veelgi enam, hiljutine uuring näitas, et mitme kanaliga salvestatud elektrokortikograafia korreleerub passiivse kokkupuutega spetsiifilise heliga isegi tuimastatud rottide kuulmiskoores [15].

Masinõppe lähenemisviise on kasutatud EEG praktiliseks kasutamiseks paljudes erinevates uuringutes. Masinõppemeetodite kasutamine võimaldab uurida rikkalikku teavet, mis on omane ja mida on EEG-signaalidest raske avastada [6].

Seetõttu saab EEG-põhist klassifitseerimist läbi viia järgmistes valdkondades tavapäraste masinõppe algoritmide (nt tugivektori masin (SVM), k-lähimad naabrid (KNN) ja naiivsed Bayes (NB) abil: motoorne kujutis, emotsioonide tuvastamine, vaimuhaiguste avastamine, sündmustega seotud potentsiaali (ERP) tuvastamine jne [16, 17].

Lisaks on viimastel aastatel tänu graafiliste töötlusüksuste kasvavale arengule ja suurte andmehulkade kättesaadavusele saanud võimalikuks EEG-põhine klassifitseerimine erinevate süvaõppevõrkude abil [6, 18, 19]. Võrreldes tavapäraste masinõppemeetoditega. , saavad süvaõppevõrgud automaatselt tuvastada ja eraldada sisendandmetest sobivad esitused [20, 21].

Seega, isegi ebapiisavate eelnevate ekspertteadmiste korral võib süvaõppe algoritmide abil saada paljutõotavaid tulemusi, mis ei nõua täiendavat käsitsi valmistatud funktsioonide ekstraheerimisprotsessi [22, 23].

Näiteks kõne, piltide ja video valdkonnas paranesid tulemused oluliselt süvaõppe algoritmide rakendamisega [24–26]. Siiski pole selge, kas sellised paremad tulemused kaasnevad alati EEG-põhise klassifitseerimisvaldkonnaga, kui traditsiooniliste masinõppemeetodite asemel kasutatakse süvaõppe lähenemisviise [27].

Roy jt näitasid, et enamikus uuringutes (välja arvatud neli uuringut 102-st) viis sügav õppimisviis kõrgemale tulemuslikkusele kui traditsiooniline masinõppe lähenemisviis ja suurim täpsuse paranemine oli 35,3% [18, 28].

Lisaks viiakse EEG-põhiste klassifitseerimisuuringute erinevatest valdkondadest aktiivselt läbi ERP klassifikatsiooniuuringuid, rakendades nii tavapäraseid masinõppe kui ka süvaõppe meetodeid.

Varases uuringus kasutati traditsioonilist suure keskmistamise meetodit, et parandada madala signaali-müra suhte (SNR), mis on üks EEG-signaalide piiranguid, ja saada ERP-signaale.

Nendes uuringutes käsitleti mitmeid ERP komponente klassifitseerimise funktsioonikomplektidena [29, 30]. Loomkatsetes kasutatakse ERP-signaalide eristamiseks ka selliseid ERP-funktsioone nagu tippamplituud ja latentsusaeg [31, 32].

Siiski on palju tähelepanu pälvinud ka ühe katse EEG-põhine klassifikatsioon, kuna on teada, et ühe katse tasemel EEG-andmetel on funktsionaalsemat ja rikkalikumat teavet kui traditsioonilise suure keskmistamismeetodi abil saadud ERP-signaalid [33, 34].

Seetõttu ekstraheeriti järgmistes uuringutes funktsioone erinevate algoritmidega, nagu lainepõhised algoritmid [35], Gaussi segumudelid [36] ja ruumiline filtreerimine [37], et klassifitseerida tavapäraste masinõppemeetodite abil [38, 39]. Ühe katse EEG käsitsi valmistatud funktsioonid on aega- ja töömahukad, kuna tuleb läbi viia täiendavad töötlemisetapid. Selles kontekstis võivad süvaõppe meetodid seda probleemi leevendada, võimaldades täielikku õpet.

Kõige levinum süvaõppe arhitektuur on konvolutsiooniline närvivõrk (CNN), millele järgneb korduv närvivõrk (RNN). CNN on süvaõppe arhitektuuri eritüüp, mida kasutatakse laialdaselt ühekordseks EEG-põhiseks klassifitseerimiseks [6]. CNN-i sisendid tuletatakse töötlemata või eeltöödeldud EEG-andmetest, peamiselt järgmisel kujul: kanalite arv × ajapunktide arv ühes katses.

Lisaks on näidatud märkimisväärseid klassifitseerimise tulemusi ja on teada, et see toimib kõige paremini spektrogrammi kujutiste kasutamisel sisenditena [40–44]. Erinevalt CNN-ist on RNN väga eelistatud arhitektuur, eriti järjestikuste andmete töötlemisel (nagu loomuliku keele töötlemise rakendustes), kuna RNN-i õppearhitektuuri korduv ühendus võimaldab kasutada võrgu varasemat teavet rekursiivselt praeguste sisendandmetena [45 ].

Pikaajaline lühimälu (LSTM) on omamoodi RNN-i arhitektuur, mille on välja pakkunud Hochreiter ja Schmidhuber, et ületada RNN-i plahvatusohtlikud ja kaduvad gradiendiprobleemid [46]. Kahesuunaline LSTM (BiLSTM) on LSTM-i edasiarendus, mis ühendab edasi- ja tahapoole peidetud kihte, et pääseda juurde nii eelnevale kui ka järgnevale teabele.

Kuigi BiLSTM-mudel on palju keerulisem ja võib vajada täiendavat arvutusvõimsust, lahendab see järjestikuse modelleerimise ja klassifitseerimise ülesande paremini kui LSTM [47].

Varem proovisime EEG-signaale liigitada kolme vokaaliheli, /a/,/o/ ja /u/ jaoks, kasutades inimaju masinõppetehnikaid.

Pärast sobivate signaalitöötlusalgoritmide, sealhulgas mitme muutujaga empiirilise režiimi lagunemise (MEMD) rakendamist klassifitseeriti EEG vastused tõhusalt iga vokaali järgi, kasutades lineaarse diskriminantanalüüsi (LDA) klassifikaatorit. EEG-signaalide aja-sageduse esituse (TFR) põhjal tehti ka kindlaks, et alfariba komponendid olid vokaalide heli tajumisega kõige enam seotud närvivastused [48].
Inimese EEG-signaalide madala SNR-i tõttu tuleb aga foneemide esitust ajus täiendavalt hinnata invasiivsema salvestustehnikaga, mis võimaldab saada usaldusväärsemaid EEG-signaale.

Lisaks on vaja läbi viia täiendavaid uuringuid iga masinõppe algoritmi klassifitseerimise kohta EEG-vastuste klassifitseerimisel erinevatele foneemidele.

Selle uuringu esmane eesmärk oli määrata kindlaks spetsiifilised EEG komponendid, mis võivad olla seotud kõne esitusega roti ajus, et veelgi valgustada aju vastuseid kõneheli tuvastamisele.

Täpsemate EEG-signaalide saamiseks registreeriti AAF-is epiduraalsed EEG-signaalid, mis reageerisid kuulmisstiimulitele, millel on teadaolevalt oluline roll kuulmis tajumisel ja kategoriseerimisel [2]. Lisaks üritati selles uuringus LSTM-võrke ja muid tavapäraseid masinõppetehnikaid kasutades eristada iga kõneheli erinevaid ajureaktsioone ühe katsega.

Eeldati, et BiLSTM-võrk sobiks EEG-vastuste klassifitseerimiseks vokaalide stiimulitele ja ületaks teisi klassikalisi klassifikaatoreid, kuna võrk suudab tõhusalt modelleerida järjestikuste andmete, näiteks EEG, pikaajalisi sõltuvusi. Autorile teadaolevalt ei ole LSTM-võrke kasutatud EEG-vastuste klassifitseerimisel kuulmisstiimulitele ja see on esimene uuring, mis kasutab süvaõppe algoritmi AAF-i epiduraalsete EEG-signaalide analüüsimiseks.

Lisaks klassifitseeriti sügava õppimisalgoritmi abil EEG-vastused kuulmisstiimuliteks, kasutades täielikku õppimist minimaalselt eeltöödeldud EEG-signaalidega ilma täiendavate funktsioonide ekstraheerimismeetoditeta.

For more information:1950477648nn@gmail.com