Enesejärelevalvega nägemismuundurite uurimine kõnni tuvastamiseks metsikus osas 1

Abstraktne:

Kõndimisviis (kõnnaks) on võimas biomeetria, mida kasutatakse ainulaadse sõrmejälgede võtmise meetodina, mis võimaldab teha märkamatut käitumisanalüüsi distantsilt ilma subjekti koostööta.

Me kõik teame, et trenn aitab hea tervise juures. Lisaks sellele aitab treening ka mälu parandada. Kõndimine on lihtsaim ja lihtsaim harjutatav treeningvorm ning paljud inimesed naudivad kõndimise või sörkimise ajal lõõgastumist. Nüüd näitavad rohkem uuringud, et kõndimine teeb aju jaoks võimsaid asju.

Esiteks stimuleerib kõndimine aju närvisüsteemi, mis aitab tugevdada ajutegevust. Kui keha liigub, kiireneb meie südame löögisagedus ja verevool, mis stimuleerib ka aju tootma rohkem neuroneid ja sünapse. Nende neuronite ja sünapside vahelised ühendused võivad luua uusi närvivõrke ja kiirendada mõtteprotsesse.

Teiseks võib kõndimine leevendada stressi ja ärevust, mis on mälu parandamiseks väga oluline. Kui vaim ja keha on pinges, depressioonis või ärevuses, vabastab aju hormooni, mida nimetatakse kortisooliks. Kortisool kahjustab aju neuroneid ja sünapse, mis võib viia mälukaotuseni. Kõndimine leevendab stressi ja ärevust, vähendab kortisooli tootmist organismis ning aitab säilitada terveid neuroneid ja sünapse.

Lõpuks suurendab kõndimine aju vereringet. Mõned uuringud näitavad, et hea vereringe võib aidata parandada mälu. Vananedes ummistuvad aju veresooned järk-järgult, mille tulemuseks on aju ebapiisav hapnikuvarustus. Kõndimine võib parandada südame tervist, võimaldades südamel tõhusamalt hapnikku ja toitaineid ajju tarnida, edendades seeläbi mälu ja aju funktsiooni.

Seetõttu on kõndimine suurepärane treeningvorm nii noortele kui vanadele. Lisaks füüsilise tervise parandamisele võib kõndimine aidata parandada ka mälu. Jalutagem iga päev üks vahemaa, et muuta end tervemaks ja paremaks! On näha, et me peame parandama mälu ja Cistanche deserticola võib oluliselt parandada mälu, sest Cistanche deserticola on traditsiooniline Hiina ravimmaterjal, millel on palju ainulaadseid toimeid, millest üks on mälu parandamine. Hakkliha tõhusus tuleneb selles sisalduvatest erinevatest toimeainetest, sealhulgas hapetest, polüsahhariididest, flavonoididest jne. Need koostisosad võivad aju tervist mitmel viisil edendada.

Klõpsake nuppu Tea 10 võimalust mälu parandamiseks

Erinevalt traditsioonilisematest biomeetrilistest autentimismeetoditest ei nõua kõnnianalüüs subjekti selget koostööd ja seda saab läbi viia madala eraldusvõimega seadetes, ilma et subjekti nägu oleks takistusteta/nähtav. Enamik praeguseid lähenemisviise on välja töötatud kontrollitud keskkonnas, kus on puhtad, kuldstandarditele vastavad annoteeritud andmed, mis aitasid välja töötada äratundmiseks ja klassifitseerimiseks mõeldud närviarhitektuure.

Alles hiljuti on kõnnianalüüs julgenud kasutada mitmekesisemaid, suuremahulisemaid ja realistlikumaid andmekogumeid eelkoolitatud võrkude jaoks iseseisva järelevalve all. Enesejärelevalvega treeningrežiim võimaldab õppida mitmekülgseid ja jõulisi kõnnikujundeid ilma kallite käsitsi tehtavate märkusteta. Ajendatuna trafomudeli üldlevinud kasutamisest kõigis süvaõppe valdkondades, sealhulgas arvutinägemises, uurime selles töös erinevate nägemistrafode arhitektuuride kasutamist, mida kasutatakse otseselt enesejärelevalvega kõnnaku tuvastamiseks.

Kohandame ja õpetame ümber lihtsaid ViT, CaiT, CrossFormer, Token2Token ja TwinsSVT kahel erineval suuremahulisel kõnniandmestikul: GREW ja DenseGait. Pakume laiaulatuslikke tulemusi null-võtte ja peenhäälestuse kohta kahe etalonilise kõnnakutuvastuse andmekogumi (CASIA-B ja FVG) kohta ning uurime visuaaltransformaatori kasutatava ruumilise ja ajalise kõnniteabe vahelist seost.

Meie tulemused näitavad, et liikumise töötlemiseks mõeldud trafomudelite kujundamisel kasutatakse peenemate liikumiste messidel hierarhilist lähenemist (st CrossFormeri mudelid) suhteliselt paremini kui varasemad kogu skeleti lähenemisviisid.

Märksõnad:

kõnnaku tuvastamine; biomeetriline autentimine; nägemistrafo; poosi hindamine; iseseisvalt juhendatud õppimine; kontrastiivne õpe.

1. Sissejuhatus

See, kuidas me liigume, sisaldab olulisi vihjeid meie endi kohta. Eelkõige on meie kõnnakut (kõndimisviisi) põhjalikult uuritud meditsiinis [1], psühholoogias [2] ja sporditeadustes [3]. Hiljuti on arvutiteaduste kogukonnad pööranud suuremat tähelepanu kõnnianalüüsile [4,5], mis langeb kokku süvaõppe eksponentsiaalse edenemisega ja arvutiriistvara laialdase kättesaadavusega.

AI-toega kõnnianalüüsisüsteemid on suutnud edukalt ära tunda subjekte [6–10], hinnata demograafilisi andmeid, nagu sugu ja vanus [11], ning hinnata väliseid atribuute, nagu riietus [12], ilma välisilme näpunäiteid kasutamata. Need tulemused ei ole üllatavad, arvestades suurt hulka individuaalseid erinevusi kõnnakus, mis on tingitud erinevustest lihas-skeleti struktuuris, geneetilistest ja keskkonnateguritest, aga ka kõndija emotsionaalsest seisundist ja isiksusest [13].

Praeguseid süsteeme koolitatakse ja testitakse ainult kontrollitud sisekeskkondades. Enamik meetodeid kasutab CASIA-B andmestikku [6] kõnnituvastusmudelite standardse etalonina, mis sisaldab 124 subjekti, kes kõnnivad siseruumides rangelt kontrollitud viisil, jäädvustatud mitme kaameraga. Pärismaailma keerukust ei saa selliste vaoshoitud stsenaariumitega täielikult modelleerida. Alles hiljuti on keskendutud kõnni modelleerimisele "looduses" selliste andmekogumitega nagu DenseGait [12], GREW [7] ja Gait3D [14].

Suuremahulise, puhta ja täielikult kommenteeritud andmestiku kogumine tähendab tohutut pingutust nii rahaliste ressursside kui ka eraldatud aja osas. Andmestiku GREW [7] kogumiseks ja märkuste tegemiseks kulus väidetavalt 3 kuud pidevat tööd. Kuigi sellised lähenemisviisid on olnud kasulikud kõnnaku töötlemise närviarhitektuuride väljatöötamisel [8, 9], ei ole need piisavalt mitmekesised, et neid lõdvestunud reaalses keskkonnas õigesti kasutada.

Tehisintellekti kogukond on muudes valdkondades sellest lähenemisviisist aeglaselt eemaldumas, kusjuures nii nägemise [15] kui ka keele [16] enesejuhitava õppimise meetodid on saavutanud märkimisväärset tõmbejõudu ja sageli ületavad traditsioonilisi juhendatud meetodeid. Hiljutine enesejärelevalvega õppimine näitas, et enesejärelevalvega mudelid on tugevamad ja esilekerkivamad, mida pole koolituse ajal selgesõnaliselt määratletud.

Näiteks DINO [17], nägemistrafo, mis on koolitatud iseseisvalt jälgitavas režiimis, õppis klassispetsiifilisi funktsioone, mis võimaldasid objektide järelevalveta segmenteerimist, ilma et oleks kasutanud koolituse ajal selliseid silte. Cosmaand Radoi [10] pakkus välja esimese kontrastse meetodi gaitanalüüsiks iseseisvalt juhendatud õppimiseks, treenides ST-GCN-i [18] DenseGaiti väiksemal versioonil [12]. Nende meetod saavutas mõistlikud tulemused allavoolu kõnnaku tuvastamise ülesannete kohta ja näitas, et eelkoolitatud andmekogumi suuruse ja nullkaadri edastusjõudluse vahel on tugev korrelatsioon.

Kuigi paljud kõnnianalüüsi lähenemisviisid on kasutanud taustast lahutamisest eraldatud siluette [6, 8, 9], eeldab siluettide eraldamine reaalsete seirestsenaariumide puhul täiustatud tehnikate kasutamist, nagu näiteks eksemplari segmenteerimine [19], millel on suured arvutuskulud. Siluettide jadad võtavad märkimisväärse salvestusruumi ja ei ole piisavalt paindlikud, et neid saaks kasutada teistes külgnevates ülesannetes, näiteks tegevuste tuvastamisel. Veelgi enam, siluetid kodeerivad peeneid välimuse näpunäiteid, mis muudab ebaselgeks, mil määral liikumist tuvastamisel kasutatakse [20].

Teisest küljest on 2D poosehindamise mudelid muutunud üha täpsemaks ja arvutuslikult tõhusamaks [21,22]. Skelette on odav eraldada ja praegu töökindlamad kui 3D võrgusilmad ja 3D poosid, eriti distantsilt. Lisaks on 2D-skeletid pikaajalise säilitamise seisukohalt siluetidest oluliselt kergemad.

Praegused skelettide jadade töötlemise arhitektuurid kasutavad inimese skeletis esinevat loomulikku ruumilist graafiku struktuuri, tuues mudeli kujundusse induktiivse nihke. Sellised mudelid nagu populaarne ST-GCN [18] ja MS-G3D [23] on skeletipõhise tegevuse tuvastamisel näinud muljetavaldavaid tulemusi.

Samal ajal on trafomudelite kasutamine plahvatuslikult kasvanud peaaegu kõigis süvaõppe valdkondades alates nende esmasest rakendamisest loomuliku keele töötlemiseks.

Trafosid peetakse üldisemaks arhitektuuriks, millel on vähe induktiivseid eelarvamusi. Esialgu on trafodel olnud raskusi CNN-i mudelite sobitamisega kujutiste klassifitseerimisel [24], kuid praegu nad edestavad teisi mudeleid ja annavad paljutõotavaid tulemusi enesejärelevalvega stsenaariumide puhul, rohkem kui muud tüüpi arhitektuurid, on trafod näidanud muljetavaldavat õppimisvõimet ja esilekerkivat käitumist iseenda all. -järelevalve [17].

Cosma ja Radoi [12] olid esimesed, kes pakkusid välja GaitFormeri, mis on nägemistrafo kodeerija mudeli otsene kohandamine kõnnaku tuvastamiseks, kasutades üksikuid skelette sisend "plaastritena", täites sisuliselt ainult ajalist tähelepanu, ignoreerides ruumilisi tähelepanusuhteid.

GaitFormerit koolitati iseseisvalt ja ta ületas teisi kõnnaku tuvastamise meetodeid isegi ilma peenhäälestuseta. Selline varasem töö on julgustav ja sillutab teed trafoarhitektuuride võimaliku kasutamise põhjalikumaks uurimiseks kõnnakuanalüüsi jaoks. Kas nägemistrafode mudeleid saab kohandada skeleti kõnnikujutuste iseseisvaks õppimiseks?

Visioonitrafode peamine arhitektuuriline probleem on õigete suhete määratlemine kujutise plaastrite vahel, mis määravad kohaliku ja globaalse teabe. Kõnnakule rakendades vastab plaastri mõõtmete valik skeleti järjestuse kodeeritud ajalise ja ruumilise teabe hulgale.

Selles töös tutvustame ulatuslikku uuringut viie erineva nägemistrafo kohta, mis on kohandatud kõnnaku tuvastamiseks. Uurime klassikalist ViT mudelit [24], CaiT [25], CrossFormerit [26], TwinsSVT [27] ja token-token ViT [28].

Igat arhitektuuri koolitatakse eraldi kontrastiivsel enesejärelevalvel kahel suuremahulisel 2D-kõnni skeleti jadade "looduses" andmekogumil: DenseGait – toorjärelevalve voogudest automaatselt kogutud andmekogum ja GREW, väiksem andmekogum, mis sisaldab puhtaid inimmärkusi.

Uurime edastusvõimalusi kahe kontrollitud andmestiku vahel kõnnaku tuvastamiseks, CASIA [6] ja FVG [29]. Iga andmestiku puhul analüüsime otsest (nullvõtet) ülekannet ja andmetõhusust peenhäälestuse ajal, treenides järjest suuremate andmekogumite alamhulkadega. Lisaks viime läbi ablatsiooniuuringu SimpleViT ja CaiT plaastri suuruste ruumiliste ja ajaliste mõõtmete vahelise seose kohta. , on enamiku seniste visioonitrafode standardsed selgroog.

Ülejäänud paber on korraldatud järgmiselt. Teeme kõrgetasemelise ülevaate kõnnituvastusmudelite ja nägemistrafode teemalistest töödest. Täheldame, et kõnnaku esitusmudelid saavad enesejärelevalvega koolitusest suurt kasu, et neil oleks tugevamad ja üldisemad kinnitused, ning trafomudelid on näidanud enesejärelevalvega treeningrežiimides suurt modelleerimisvõimet.

Lisaks kirjeldame matemaatiliselt viit arhitektuuri, mida me võrdleme, ja kirjeldame vajalikke andmete eeltöötlust ja skeleti teisendusi, nii et nägemistrafod peavad skeleti järjestustel sujuvalt töötama. Samuti kirjeldame andmete täiendusi, koolitus- ja võrdlusuuringu andmekogumeid ning eksperimentaalseid seadistusi.

Tutvustame tulemusi CASIA-B ja FVG kohta kõigi viie arhitektuuri ja kahe „loodusliku eelõppe” andmekogumi jaoks. Lõpuks teeme ablatsiooniuuringu ruumilise ja ajalise plaastri suuruse vahelise seose kohta ning anname lühikese arutelu meie tulemuste kohta. Teeme oma lähtekoodi GitHubis (https://github.com/cosmaadrian/gait-vit, juurdepääs 28. veebruaril 2023) avalikult kättesaadavaks, et tagada läbipaistvus ja reprodutseeritavus.

2. Seotud tööd

Selles jaotises anname lühikese ülevaate olemasolevatest kõnnituvastuse meetoditest kontrollimatutes keskkondades ja "looduses". Lisaks kirjeldame peamisi trafomudelite arenguid ja eriti nende rakendamist nägemisvaldkonnas.

2.1. Kõnnaku äratundmine

Sarnaselt näopõhise tuvastamisega põhineb kõnnaku tuvastamine meetrilisel õppimisel. Erinevalt traditsioonilistest biomeetrilistest autentimismeetoditest, mis põhinevad ühel pildil (nt näotuvastus) ja nõuavad ulatuslikku koostööd (nt iirisepõhine biomeetriline autentimine), töödeldakse kõnniomadusi liikumise hetktõmmiste jadana. Selline žestide dünaamika nõuab kõige informatiivsema alamjada määramisel rohkem keerukust, kuid võimaldab kasutada märkamatut autentimist eemalt.

Selles kontekstis hõlmab ülesanne kodeerijavõrgu koolitamist, et kaardistada kõndimisjärjestused manustamisruumi, kus manustamise sarnasus vastab kõnnaku sarnasusele. Ühele ja samale inimesele kuuluvate jalutuskäikude kinnistused peaksid asuma kinnistamisruumi lähedal ja erineva identiteedi esindajad peavad olema kaugemal. Selles manustusruumis saab teha järeldusi, hankides kõnnijärjestuse kinnistust ja kasutades lähimat naabrit. lähenemine teadaolevate jalutuskäikude andmebaasis.

Praegused kõnnipõhise tuvastamise lähenemisviisid jagunevad kahte kategooriasse: välimuspõhine [8, 9] ja mudelipõhine [10, 12, 30]. Välimusepõhised meetodid loovad kõigepealt igast videokaadrist kõndivate objektide siluetid tausta lahutamise või segmenteerimisalgoritmidega.

Seejärel suunatakse siluettide jada CNN-põhistesse arhitektuuridesse, mis eraldavad ruumilised ja ajalised tunnused, mis koondatakse äratundmiseks lõplikuks manustamiseks. Mudelipõhised lähenemisviisid eraldavad RGB-videotest luustikud posehinnangu mudelitega [21,22]. Skelettide jadasid töödeldakse tavaliselt mudelitega, mis põhinevad kõnnaku kinnistamiseks graafikonvolutsioonidel [10,30].

GaitSet, Chao jt töö. [8] käsitleb kõnnakut kui järjestamata siluettide kogumit. Autorid väidavad, et see esitus on paindlikum kui siluettide jada, kuna see on vastupidav kaadrite erinevatele paigutustele või mitmete kõndimissuundade ja variatsioonide kombinatsioonile. Nad kasutavad iga silueti jaoks konvolutsioonikihte, et saada kujutise tasemel funktsioone ja kombineerida need komplektitaseme funktsiooniks koos funktsiooniga Set Pooling. Nad saavad lõpliku väljundi, kasutades oma versiooni HorizontalPyramid Matching [31].

Fan jt. [9] märkas tõsiasja, et inimese silueti teatud osadel peaks olema aegruumiline väljendus, kuna igal neist on ainulaadne muster. Nende arhitektuur, GaitPart, kasutab fokaalseid konvolutsioonikihte (FConvs), mis on kitsama vastuvõtuväljaga spetsiifiline keerdtüüp. Autorid väidavad, et FConv-id aitavad nende arhitektuuril õppida liikuva keha erinevate osade jaoks peeneteralisemaid funktsioone. Samuti tutvustavad nad mikroliikumise püüdmise mooduleid, mida kasutatakse väikeste ajaliste jadade funktsioonide eraldamiseks.

Teepe jt. [30] pakub välja GaitGraphi, mis kasutab kohandatud graafide konvolutsioonivõrku nimega ResGCN [32], et kodeerida skelettide järjestusest saadud spatiotemporaalseid tunnuseid. Li et al. [33] pakuvad välja PTP, mis on struktuur, mis koondab kõndimise kõige olulisemate etappide analüüsi põhjal ühest kõnnitsüklist mitu ajalist tunnust.

Samuti kasutavad nad ruumiliste tunnuste eraldamiseks graafiku konvolutsioonivõrku, mis töötab koos PTP-ga. Autorid tutvustavad uudset andmete suurendamise meetodit, mis muudab kõnnakut, et saavutada realistlikumas tsüklis mitu sammu.

Erinevalt varasematest töödest on meie eesmärk aga uurida kõnnituvastusarhitektuuride toimivust enesejärelevalvega stsenaariumides. Inspireerituna tohututest edusammudest arvutinägemise valdkonnas, teeme ettepaneku kohandada olemasolevaid nägemistrafoarhitektuure, et need toimiksid piltide asemel skeleti järjestustega ja testiksid nende modelleerimisvõimet enesejärelevalvega stsenaariumides. Enamik teisi töid [8, 9, 30] keskendub oma jõupingutustele närviarhitektuuride väljatöötamisele, mis saavutavad muljetavaldavaid tulemusi kontrollitud andmekogumite kõnnaku tuvastamisel.

Siiski kavatseme kaotada vajaduse väga kulukate käsitsi märkuste järele kõnniandmete kogumite jaoks ja uurida, kuidas enesejärelevalvega õppimine kõnnianalüüsiks sobib.

Varasemad tööd selles valdkonnas [10, 12] näitasid, et on potentsiaali õppida head kõnnaku esitused nõrgalt annoteeritud andmekogumitest. Cosmaand Radoi [12] pakkus välja GaitFormeri, esimese trafopõhise arhitektuuri skeleti jadade töötlemiseks, mis on inspireeritud ViT [24] mudelist. Sarnaselt [12]-ga proovime uurida ka teiste nägemistrafo mudelite jõudlust, millel on plaastri töötlemise mehhanismis erinev ruumiline ja ajaline dünaamika. Varem on välja pakutud suuremahulisi andmekogumeid kõnnaku tuvastamiseks [7, 12], mis võimaldab välja töötada üldisi esitusõppe arhitektuure.

For more information:1950477648nn@gmail.com