AttentionMNIST: hiireklõpsuga tähelepanu jälgimise andmestik käsitsi kirjutatud numbrite ja tähestiku tuvastamiseks

Mitmed tähelepanupõhised mudelid, mis tunnevad objekte ära pilguheite jada kaudu, on andnud tulemusi käsitsi kirjutatud numbrituvastuse kohta. Käsitsi kirjutatud numbrite või tähestiku tuvastamiseks pole aga tähelepanu jälgimise andmeid saadaval. Selliste andmete kättesaadavus võimaldaks hinnata tähelepanupõhiseid mudeleid võrreldes inimeste töövõimega. Kogume hiireklõpsuga tähelepanu jälgimise andmeid 382 osalejalt, kes üritavad järjestikuse valimi abil piltidelt ära tunda käsitsi kirjutatud numbreid ja tähestikke (suur- ja väiketähti). Võrdlusandmete kogumitest pärit pildid esitatakse stiimulitena. Kogutud andmestik, nimega AttentionMNIST, koosneb näidiskohtade jadast (hiireklõps), pr.välja antud klassi silt(id) igal proovivõtul ja iga proovivõtu kestus. Meie osalejad jälgivad tuvastamiseks keskmiselt vaid 12,8% pildist. Pakume välja lähtemudeli asukoha ja klassi(de) ennustamiseks, mille osaleja valib järgmisel proovivõtul. Kui meie osalejad puutuvad kokku samade stiimulite ja katsetingimustega, jääb kõrgelt tsiteeritud tähelepanupõhine tugevdusmudel inimese tõhususele alla.

Hiina tsistanšürt- Ennetage Alzheimeri tõve tooteid

Masinõppe (ML) mudelid, mis tunnevad objekte ära pilguheite jada kaudu, on viimastel aastatel huvi pälvinud nende mastaapsuse ja tõhususe tõttu. Paljud neist mudelitest, näiteks 1–7, on esitanud eksperimentaalsed tulemused käsitsi kirjutatud numbrituvastuse MNIST-i etalonandmestiku kohta. Kahjuks pole MNIST-i jaoks tähelepanu jälgimise andmeid saadaval. See takistab tähelepanupõhiste mudelite hindamist võrreldes inimese töövõimega. Sattusime sellesse lünka, kogudes andmestiku täiskasvanud osalejatelt, kes üritasid järjestikuse valimi abil piltidelt ära tunda käsitsi kirjutatud numbreid ja tähestikke. Erinevalt silmade liikumise tähelepanu jälgimisest (emAT) klõpsab osaleja pildil seda asukohta, mida ta näha soovib (hiireklõpsuga tähelepanu jälgimise (mcAT) vorm). Kohe pärast seda valib ta klassi(d), kuhu objekt tema seniste vaatluste põhjal ennustab. Seega koosnevad meie andmed igas proovivõtuepisoodis valitud pildi asukohast, ennustatud klassi märgis(t)est ja ajast, mis on kulunud osaleja viimasest episoodist. Pärast iga pilti saab osaleja tasu, mis põhineb tema sooritusel (täpsus ja tõhusus).

Cistanche tubulosa-Anti Alzheimeri tõve eelised

mcAT-i eelised emAT-i ees käsitsi kirjutatud numbrite/tähestiku tuvastamisel.

(1) lihal on fikseerimiskohas märkimisväärne sise- ja inimestevaheline varieeruvus, eriti staatiliste stiimulite (kujutised) puhul8,9. Seega on statistiliselt oluliste järelduste tegemiseks vaja suurt hulka silmade fikseerimise andmeid. mcAT ei ole vastuvõtlik mõnele tehnilise müra allikale, mis on levinud silmade jälgimise andmetele10. (2) Silmade liigutused võivad tuleneda nii vabatahtlikest kui ka tahtmatutest mehhanismidest11. Ülesandest sõltuvate otsuste tegemise hõlbustamiseks esitame osalejatele piisava aja, konteksti ja tugevdussignaalid, mida saab esitada ka ML-mudelis. (3) EMAT-andmete täpsus ja täpsus sõltuvad silmajälgijast, samas kui mcAT-i andmed on sõltumatud mis tahes seadmest. (4) Silma liigutuste sünkroniseerimine tema klassivalikuga on väljakutse. Selle ületamiseks valitakse meie puhul proovivõtukoht ja klass(id) samas episoodis. (5) Lõpuks võimaldab meie meetod andmete kogumist kasutades Amazon Mechanical Turki (MTurk), nagu 12, 13, mis on kulu- ja ajasäästlik ning kergesti reprodutseeritav.

Kaastööd.

Kogume mcAT-andmestiku nimega AttentionMNIST, kasutades MTurki 382 osalejalt, mida premeeritakse piltidelt käsitsi kirjutatud numbrite ja tähestiku (suur- ja väiketähtede) täpse ja tõhusa äratundmise eest järjestikuse proovivõtu abil. Võrdlusandmete kogumitest (MNIST, EMNIST) pärit pildid esitatakse stiimulitena. Keskmiselt registreeritakse 169,1 vastust numbri-/tähestikuklassi kohta. Seda andmekogumit kasutades näitame järgmist: • Osalejad vajavad numbrite, suurtähtede ja väiketähtede äratundmiseks keskmiselt 4,2, 4,7 ja 4,9 näidist, mis vastavad ainult 11,3%, 13,4% ja 13,7% pildialast. . Klassifitseerimise täpsus suureneb mitme prooviga. • Mudel, mis on esitatud lähtejoonena, suudab ennustada klassi(d) ja asukohta, mille osaleja valib järgmisel proovivõtuepisoodil vastavalt 74,4% ja 67,7% täpsusega. Mõlemad on keskmistatud kõigi valimite ja andmekogumite kohta. Klassi prognoosimise täpsus suureneb ja asukoha ennustamise täpsus väheneb valimite arvu suurenemisega. • Kui puutume kokku samade stiimulite ja tingimustega nagu meie osalejad, vajab laialdaselt tsiteeritud tugevdamisel põhinev korduva tähelepanu mudel (RAM)3 3,7, 8,5 ja 7,6 näidist, et tuvastada numbrid, suur- ja väiketähed, mis vastavad 8,9%-le. , 21.0%, vastavalt 18,7% pildialast. Teisi tähelepanupõhiseid tugevdamismudeleid (nt 1,2,4,5,7,14) saab inimese sooritusvõimega võrreldes samamoodi hinnata.

Cistanche toidulisand minu lähedal - mälu parandamine

Cistanche mälu parandavate ja Alzheimeri tõve ennetavate toodete vaatamiseks klõpsake siin

【Küsi lisa】 E-post:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Seotud tööd

Hiireklõpsude ajaline jada mcAT-is on analoogne silma liikumise skaneerimise teega10. mcAT võib emAT-d tõhusalt asendada, kuna need on märkimisväärselt korrelatsioonis 10, 12, 13, 15–17. McAT-uuringutes on kasutatud erinevat tüüpi stiimuleid, näiteks elavate ja elutute objektide pilte10, looduslike stseenide pilte12,13, staatilisi veebilehti13, otsingulehtede paigutusi16 ja kahte tähtnumbriliste stringide loendit visuaalseks võrdluseks17. Kuid mcAT-i ei ole kasutatud käsitsi kirjutatud numbrite/tähestiku klassifitseerimise ülesannete jaoks ega tähelepanupõhiste klassifitseerimismudelite hindamiseks. mcAT uuringutes on kasutatud selliseid funktsioone nagu kontakti saavutamise aeg, suhteline fikseerimise sagedus huvipakkuvates piirkondades (AOI-d), vähemalt korra AOI-s klõpsanud katsealuste suhteline osakaal10, fikseerimiste arv katse kohta, taasfiksatsioon katsetes, ooteajad ja skaneerimisrajad17 , fikseerimiskaardid12,13, AOI ja teabevoo muster16. Ajatempliga klikkide asukohtade ja prognoositud klassisiltide jada moodustavad algandmed, mis on vajalikud tähelepanupõhiste mudelite või inimeste tõhususe ja täpsuse hindamiseks klassifitseerimisülesannetes. Nendest andmetest saab tuletada erinevaid tunnuseid. Meie mcAT-andmekogum, millel on silmade jälgimise andmetega võrreldes mitmeid eeliseid, täidab olulise tühimiku AI, ML ja muude valdkondade tähelepanupõhises mudeliuuringutes. Meie andmekogum võimaldab hinnata tähelepanupõhiseid mudeleid võrreldes inimese jõudlusega. Muuhulgas hõlbustab see tõhusate ja reaalajas optiliste märgituvastussüsteemide väljatöötamist, mida praktikas kasutatakse laialdaselt (vt näiteid 18–20). Visuaalseid fikseerimisi suunavaid põhimõtteid saab meie andmestiku abil oletada ja testida. Edukaid põhimõtteid saab üle võtta süsteemide väljatöötamiseks reaalsete visuaalse tuvastamise ülesannete jaoks, kus tõhusus on võtmetähtsusega, näiteks autonoomse juhtimise puhul.

Andmed

Meie andmed koosnevad iga osaleja T-episoodide jadast. Iga episoodi andmed koosnevad (1) asukohast pildil, millel osaleja on klõpsanud (üks klõps pildil episoodi kohta), (2) osaleja valitud klassi(de)st ja (3) ajast, mille jooksul osaleja on klõpsanud. osaleja registreerida praegune näidis (st aeg, mis kulus pildil tehtud viimase ja praeguse kliki vahel). Selles jaotises kirjeldatakse meie andmete kogumise protsessi, sealhulgas stiimulite valimist, osalejaid, visuaalseid ülesandeid, jõudluse hindamist ja andmete filtreerimist.

Stimulaatorite valik. Stiimulid valitakse kahe võrdlusandmestiku kujutiste hulgast: (1)

MNIST21 andmestik koosneb 7 0,000 märgistatud pildist (28 × 28 pikslit) ja 10 käsitsi kirjutatud numbrit {0, 1, ..., 9}. (2)

EMNIST22 andmestik koosneb 145 600 kujutisest (28 × 28 pikslit) käsitsi kirjutatud inglise tähestikust suur- ja väiketähtedega, moodustades tasakaalustatud klassi. Kõik pildid on märgistatud ühega 26 klassist {a, b, ..., z}. Suur- või väiketähtede silti ei seostata ühegi pildiga. Igast kategooriast valime MNIST-ist 15 hästi moodustatud numbrit ja EMNIST-i suurtähtedest ja EMNIST-i väiketähtedest 15 hästi moodustatud tähestikku. Hästi moodustatud number või tähestik sarnaneb oma klassi normiga. Seega esitame stiimuleid 15(10 + 26 + 26)=930 ainulaadsest pildist koosnevast komplektist koos 15 kujutisega, mis kuuluvad igasse 62 klassi. Hästi vormindatud 930 kujutised valitakse järgmiselt:

1. samm: normaliseerige iga pilt, kasutades min-max, et skaleerida intensiivsust vahemikus 0 kuni 1.

2. samm: märgistage hästi vormindatud EMNIST-i kujutised suur- või väiketähtedega. Iga tähestikuklassi jaoks valitakse käsitsi hästi moodustatud tähestik nii suur- kui ka väiketähtede kujutistest ja märgistatakse. Arvutatakse kõigi sellesse klassi kuuluvate piltide koosinussarnasus kahe märgistatud kujutisega. Piltidele, mis on üle koosinuse sarnasuse läve (empiiriliselt valitud kui 0.8), määratakse suur- või väiketähtede silt.

3. samm: arvutage igasse klassi kuuluvate piltide keskmine. Klassi keskmine kuvand moodustab selle normi. Kujutis on stiimuliks sobilik, kui selle koosinussarnasus oma klassi keskmise kujutisega on suurem kui empiiriliselt määratud lävi (0,7 MNIST, 0,75 EMNIST).

4. samm: sobivate piltide hulgast valitakse igast klassist käsitsi 15 pilti, lähtudes nende vormingust. Iga pilt, algselt 28 × 28 pikslit, vähendatakse 27 × 25-ni, eemaldades piiride lähedalt pikslid, kuna nende intensiivsus ei muutu. Nende 15 kujutise keskmine arvutatakse iga 62 klassi kohta. Me tähistame neid keskmisi kujutisi kui I1, I2, ..., In iga andmestiku n klassi jaoks.

Osalejad.

Meie uuringus osales kokku 382 erinevat täiskasvanud isikut. Valikukriteeriume ei kasutatud. Osaleja võib vastata mitmele pildile. Iga 62 klassi kohta registreeriti keskmiselt 169,1 vastust.

Cistanche tubulosa eelisedAlzheimeri tõve vastane

Visuaalne ülesanne.

MTurki liides meie visuaalse ülesande jaoks on näidatud joonisel 1. Lõuend suurusega 270 × 250 kuvab kogu aeg madala intensiivsusega taustpilti. Tausta- ja stiimulikujutisi diskreeditakse kümme korda 270 × 250-ni. Lõuendi keskosa on joondatud piltide keskpunktiga. Taust Algselt on taust kõigi andmestiku piltide keskmine, millest stiimul on võetud. Pärast esimest episoodi on taust kõigi viimases episoodis osaleja valitud klasside komplekti kuuluvate piltide keskmine. Reaalses maailmas saadakse numbri või tähestiku asukoha, suuruse ja orientatsiooni kontekst selle naabruses olevast kirjast, mis siin puudub. Kui meie katsed viidi läbi tühja taustaga, valisid osalejad sageli pildi asukohti, mis ei sisaldanud ühtegi objekti osa. Seda käitumist piirati valitud klassi(de) keskmise kujutise esitamisega madala intensiivsusega taustal ja kõigi MNIST- ja EMNIST-piltide suuruse vähendamisega 28 × 28 pikslilt 27 × 25-le. Iga kord, kui osaleja valib lõuendil asukoha sellel klõpsates, ilmub stiimulipildilt sellesse kohta tsentreeritud 50 × 50 piksline plaaster. Pärast ilmumist kuvatakse plaastrit kuni viimase episoodini. Osaleja ülesanne koosneb kolmest etapist igas episoodis t (t=1, ..., T):

1. toiming: klõpsake 270 × 250 lõuendil suvalises kohas, et kuvada plaaster, mida ta proovib proovida. Aktsepteeritakse ainult esimest klõpsu.

2. samm: tuvastage kõigi seni vaadeldud proovide numbrid/tähed. Osaleja saab valida mitu klassi ja peab valima lõuendi all olevast klasside loendist vähemalt ühe klassi.

3. samm: jätkamiseks klõpsake ekraani allosas nuppu "Järgmine". Klassi täpseks ja kiireks järeldamiseks peab osaleja valima kohad läbimõeldult, arvestades tema tähelepanekuid kuni jooksva episoodini. Episoodil ajapiirangut ei ole. Kuid me piirame pildi T episoodi koguaega kuue minutiga. Valime T=12, kuna tähelepanupõhise käekirja tuvastamise või genereerimise laialdaselt tsiteeritud teosed on kasutanud vähem kui 12 pilku (nt RAM3 suudab MNIST-i numbreid ära tunda 7 pilgu jooksul, DRAW23 võib genereerida MNIST-i numbreid 11 pilgu jooksul) ja Inimesed tunnevad käsitsi kirjutatud numbreid ja tähestikke ära palju vähem kui 12 pilguga.

Tulemuslikkuse hindamine. Osalejale määratakse skoor tema täpsuse ja tõhususe alusel vaadeldud proovide arvu osas. Olgu selleks klasside komplekt, mille ta valis mis tahes episoodis t. Kümme, tema tulemus punktis t on:

Joonis 1. Meie MTurki liides osaleja poolt vaadatuna. Kuvatakse EMNISTi suurtähestiku teine ​​valim.

kus |.| tähistab hulga kardinaalsust. T episoodide koguskoor on h {{0}} T t=1 Pt. Seetõttu on T episoodides maksimaalne punktisumma T, kui ta valib alati ainult õige klassi. Miinimum, mida saab T episoodides saada, on null, kui ta valib alati klassikomplekti, mis ei sisalda õiget klassi. Niisiis, 0 Väiksem või võrdne h Väiksem või võrdne T-ga. Mida varem valib osaleja õige klassi, seda suurem on tema punktisumma. Seega võtab see hindamismehhanism arvesse äratundmise täpsust ja diskreetimise tõhusust. Püüdes skoori maksimeerida, valides esimesest episoodist ainult ühe klassi, on riskantne, sest kui see ei ole õige klass, antakse hindeks null, samas kui nullist suurem skoor antakse, kui osaleja valib mitu klassi ( isegi kõik klassid), mis sisaldavad õiget klassi. See motiveerib osalejat vastama mis tahes episoodi võimalike klasside põhjal. Iga episoodi eest antud skoor avalikustatakse alles pärast T episoodi lõppemist, et hoiduda osalejale vihjete andmisest. MTurkis on osaleja pildi eest saadav tasu võrdeline tema koguskooriga, h.

Andmete filtreerimine.

Kui osaleja skoor stiimulipildi viimases (st T-ndas) episoodis on null, jäetakse tema selle pildi jaoks salvestatud andmed kõrvale. Andmed tühistatakse ka siis, kui osaleja jätab ülesande pooleli. Selle valikukriteeriumiga saime vastused 1736 stiimulile MNIST-ist, 4431 stiimulile EMNISTi suurtähtedest ja 4315 stiimulile EMNIST-i väiketähtedest; ehk keskmiselt 169,1 vastust klassi kohta.

Andmete kasutamise mudelid ja meetodid

Selles jaotises illustreerime kogutud andmete kasulikkust, pakkudes (4.1) osaleja käitumise ennustamiseks lähtemudelit ja (4.2) näidates, kuidas olemasolevat tähelepanupõhist tugevdamismudelit saab võrrelda inimese numbrite/tähestiku tuvastamisega. esitus. Käitumise prognoosimise lähtepunkt. Iga episoodi t käitumine koosneb asukoha valikust ja klassi valikust. Kuna valim sisaldab erinevate vaatlejate või isegi sama vaatleja jaoks erinevatel aegadel erinevas koguses teavet9, on iga osaleja käitumise ennustamine keeruline probleem. Olgu n andmestiku klasside arv, ηt on üksikhulk, mis sisaldab stiimuli kujutise tõelist klassi punktis t, ct on klasside kogum ja lt on osaleja valitud asukoht punktis t, mis on tema vaatlus punktis t t ja 1:t tähistab jada 1, 2, ..., t. Kuni mis tahes t-ni on osaleja vaatlused o1:t ja tema valitud asukohad l1:t. Osaleja käitumise ennustuse probleemi sõnastame järgmiselt: Klassi ennustus Hinnake i∈ct (i=1, 2, ..., n) tõenäosust, arvestades tema o1:t ja l1:t, st P( i ∈ ct|o1:t, l1:t). Asukoha ennustus Hinnake lt+1 tõenäosust, arvestades tema o1:t, l1:t ja ct, st P(lt+1|o1:t, l1:t,ct). Klassi ennustus. Et ennustada klassi, mille osaleja valib episoodil t, arvutame tõenäosuse, et pildi stiimul punktis t kuulub I klassi, arvestades osaleja valitud asukohti l1:t ja vastavaid vaatlusi o1:t järgmiselt:

kus Ii on klassi i kuuluvate stiimulipiltide (27×25) keskmine, I′ on 27×25 kujutis, mis sisaldab o1:t punktis l1:t, · tähistab skalaarkorrutist ja .tähib Eukleidilise normi. Kõik pikslite intensiivsused ei ole negatiivsed. Igas episoodis t moodustavad k kõige tõenäolisemat klassi uskumuste jaotusest P(i|o1:t, l1:t) meie mudeli järgi ennustatud klasside komplekti ˆct, kus k=|ct|. Klassifikatsiooni täpsust mõõdetakse Jaccardi indeksiga (JI). JI mõõdab kahe hulga X ja Y sarnasust järgmiselt: J(X, Y) {{10}} |X ∩ Y|/|X ∪ Y|. JI on piiratud 0 ja 1 vahel; kui X=Y, J(X, Y)=1. Igas episoodis t on osaleja klassifikatsiooni täpsus J(ηt,ct), samas kui meie mudeli oma on J(ηt,ˆct). Oma nimetaja tõttu karistab JI rohkem, kuna suureneb prognoositava hulga elementide arv (ct või ˆct), mis ei ole ηt-s, mis on meie juhtumi puhul soovitav omadus. Osaleja ja meie mudeli klassifikatsiooni sarnasust mõõdetakse J(ct, ˆct). Meie mudelit hinnatakse ka iga osaleja klassi valiku ja tagasilükkamise täpsuse järgi. Olgu st=ct − ct−1 valitud uute klasside hulk ja rt=ct−1 − ct klasside kogum, mille osaleja on punktis t tagasi lükanud. Samamoodi on ˆst=ˆct − ct−1 valitud uute klasside kogum ja ˆrt=ct−1 − ˆct on klasside kogum, mille meie mudel t juures tagasi lükkab. Siis saab mudeli klassi valikut ja tagasilükkamist võrrelda osaleja omaga J(st, ˆst), kui |st| > 0 ja J(rt, ˆrt), kui |rt| > 0. Asukoha ennustamine. Hüpotees Ideaalis peaks uskumuste jaotus kõigi klasside vahel olema unimodaalne (st ainult üks tipp) ja õhukese Gaussi (st väikese standardhälbe) kujuga, mis näitab, et osaleja on stiimuli (keskkonna) klassis (olekus) kindel. Kuid nagu meie andmetest nähtub (vt joonis 2), on osaleja sageli segaduses mitme klassi vahel, eriti esimeste episoodide ajal. Nendel juhtudel on tema uskumuste jaotusel mitu tippu või see on paks Gaussi. Me oletame, et osaleja eesmärk on läheneda unimodaalsele ja õhukesele Gaussile, mille saavutamiseks ta valib valikuliselt asukohti, mis vähendavad kõigi klasside, välja arvatud ühe, tõenäosust. See hüpotees viib ebakindluse minimeerimiseni klasside (keskkonnaseisundite) suhtes, mis on hästi tuntud põhimõte, mis juhib tegevust24, sealhulgas silmade liikumist25.

Joonis 2. Kestus ja klasside jaotus kõigi osalejate ja kategooriatesse '0', 'a' ja 'A' kuuluvate stiimulite vahel.

Te observations at certain locations in a stimulus image can discriminate between certain classes. Te observation at a location l might indicate that the numeral/alphabet belongs to class I and not to class j. Such locations are more salient than others in achieving a participant's goal. To sample such locations, a saliency map, Dij, is computed such that if l is salient, the observation at l is evidence to increase the probability of class I and decrease that of j. Mathematically, Dij = N (., σ ) ∗ g(.), where ∗ is the convolution operator, g(.) is a saliency scoring function, and N (., σ ) is a 5×5 Gaussian kernel with standard deviation σ = 6 to smooth the saliency scores. We denote the set of all saliency maps as D = {Dij: i, j ∈ {1, 2, ..., n}, i �= j}. A location l in a stimulus image is salient for class i with respect to class j if Dij(l)>θ, kus lävi θ=0,5 × max(D) on empiiriliselt määratud skalaarsuurus.

Funktsiooni g kandidaatideks käsitleme kahte asümmeetrilist mõõdikut, Kullback-Leibleri (KL) lahknemist ja erinevust. KL-i lahknevus Arvestades kahte normaliseeritud keskmist kujutist, Ii ja Ij, mõõdab KL-i lahknemine KL(Ii, Ij) teabe kadu, kui Ij-d kasutatakse Ii lähendamiseks. See arvutatakse iga piksli jaoks k as26: KL(Ii,k, Ij,k)=Ii,k log δ + Ii,k Ij,k+δ, kus Ij,k on k-nda piksli intensiivsus Ij-st ja δ on regulaarsuskonstant. Kui Ii,k=Ij,k, KL(Ii,k,Ij,k) → 0. Erinevus Arvestades kahte normaliseeritud keskmist kujutist, Ii ja Ij, on iga piksli k erinevus Diff (Ii,k, Ij,k)=Ii,k − Ij,k. Kui Ii,k=Ij,k, Diff (Ii,k, Ij,k)=0. Osaleja on ebakindel klasside komplekti ct osas, mille ta praeguses osas valis. Seetõttu võtame asukoha ennustamiseks arvesse ainult neid olulisuse kaarte D-s, mis hõlmavad klasse ct-s. Asukoht ennustatakse, kui see on nende olulisuse kaartide põhjal silmapaistev ja osaleja pole seda kunagi valinud. Tus, arvestades o1:t, l1:t ja ct, ennustatakse asukohta lt+1 järgmiselt:

kus Ŵ on 3-korterite hulk, mis sisaldab ennustatud asukohta ˆl, mis on klass (i) jaoks silmapaistev ja millise klassi (j) suhtes. Asukoht ennustatakse õigesti, kui on olemas �ˆl, i, j� ∈ Ŵ, nii et �ˆl − lt+1� < ǫ, I ∈ ct+1 ja j /∈ ct{{3} }, kus ǫ on maksimaalne eukleidiline kaugus keskpiksli ja mis tahes piksli vahel vaatluskohas. Asukoha ennustamise pseudokood on näidatud algoritmis 1. Pseudokoodi üksikasjalik selgitus on lisatud lisamaterjali jaotisesse S1. (Te tõenäosusjaotuse P(lt+1|o1:t, l1:t,ct) saab arvutada, eeldades, et nende asukohtade silmapaistvuse skoor on null, ja seejärel normaliseeritakse kõigi kohtade silmapaistvusskoor. asukohad, et summeerida ühtsus. Seda tõenäosust pole aga kasutatud, kuna valemist (3) piisab selle töö jaoks.)

Tähelepanupõhiste mudelite hindamine.

Tähelepanupõhiste mudelite esindajana käsitleme kõrgelt tsiteeritud korduva tähelepanu mudelit (RAM) 3, mis esitab MNIST-i andmestiku eksperimentaalsed tulemused. Selle tugevdusmudel proovib järjestikku kujutist ja otsustab igal proovivõtuhetkel, kust järgmiseks proovi võtta, muutes selle kogutud andmete põhjal hindamiseks sobivaks.

RAM

klassifitseerib pilte kasutades pilguheite jada. Järgmine asukoht valitakse stohhastiliselt asukohavõrgu parameetritega jaotusest. Mudelit treenitakse lõpuni, maksimeerides järgmise eesmärgi3:

kus M on episoodide arv, T on vaatluste arv, xi 1:t on interaktsioonijärjestused, mis on saadud aktiivse agendi käivitamisel kuni I episoodini, ui t on praegune tegevus, θ on treenitavate parameetrite kogum, Ri t on kumulatiivne tasu, bt on lähtetase ja π(ui t|xi 1:t; θ ) on poliitika. RAM-i käitumist saab võrrelda osalejate omaga, võrreldes RAM-i ennustatud asukohtade järjestusest saadud fikseerimiskaarte ja osalejate valitud asukohti. Fxation kaardi arvutamiseks määratakse igale asukohale väärtus, mis on võrdne selle valiku sagedusega, ja seejärel normaliseeritakse need väärtused, et luua jaotus kõigis asukohtades.

Mõõdikud fikseerimiskaartide võrdlemiseks. Mõõdikute puhul, mis võrdlevad kahte fikseerimiskaarti P ja Q, järgime täpselt 26. Proovivõtukohtade jaotuse võrdlemiseks kasutame kolme jaotuspõhist mõõdikut: KL lahknemine (KL), Pearsoni korrelatsioonikordaja (CC) ja Sarnasus (SIM). mudelist koos kogutud andmetes registreeritud osalejate mudeliga.

KL (varem määratletud) on nullväärtuste suhtes väga tundlik.

CC saab hinnata kahe kaardi vahelist lineaarset seost järgmiselt26: CC(P, Q)=σ (P, Q) σ (P)σ (Q), kus σ on dispersioon või kovariatsioon. Kuna CC on sümmeetriline, ei suuda see järeldada, kas fikseerimiskaartide vahelised erinevused on tingitud valepositiivsetest või valenegatiivsetest.

SIM mõõdetakse kui 26: SIM(P, Q)=k min(Pk, Qk), kus k Pk=k Qk=1. Nagu CC, on ka SIM sümmeetriline ja pärib sama puuduse. Samuti on SIM väga tundlik puuduvate väärtuste suhtes ja karistab ennustusi, mis ei võta arvesse põhitõe tihedust.

Inim- ja loomauuringud.

Memphise ülikooli institutsionaalne ülevaatusnõukogu otsustas, et see uuring ei vasta inimsubjektide uurimistöö kaitse definitsioonile ja 45 CFR-i osa 46 ei kehti. Seega ei nõua see uuring IRB heakskiitu ega läbivaatamist.

Katsetulemused Andmete analüüs.

Kogutud andmeid saab visualiseerida valitud asukohtade (joonis 3), valitud klasside (joonis 2) ja järjestikuste episoodide vahelise kestuse (joonis 2) järgi. Need jaotused on kolme andmekogumi puhul väga sarnased. Mis tahes numbri või tähestiku puhul sarnaneb valitud asukohtade jaotus pärast viimast episoodi selle klassi pikslite intensiivsuse jaotusega andmestikust. Valitud asukohtade jada on aga olemuselt stohhastiline. Klasside jaotus näitab segadust sarnase struktuuriga kategooriate vahel esimestel episoodidel, kui osalejad valivad mitu klassi. Seda segadust vähendatakse suurema proovivõtuga. Segadusastme (# valitud klassi/kogu # klassi) ja valimi kestuse vahel (vt joonis 4) on oluline positiivne korrelatsioon. Kui valitud klasside arv on suur (madal), on järjestikuste episoodide vaheline kestus suur (madal). Osaleja poolt klassi jaoks valitud asukohtade jada CC ei ole oluline (tabel 1). Seda eeldatakse subjektidevahelise varieeruvuse tõttu staatiliste kujutiste valimimisel. Keskmine proovivõttude arv, mida osaleja vajab klassi täpseks ennustamiseks, on üsna väike. Keskmiselt kulub 4,2, 4,7 ja 4,9 proovi, mis vastavad 36, 44,1 ja 48,1 sekundile, et klassifitseerida MNIST, EMNIST suur- ja väiketähtedega kujutised vastavalt. Osalejad vaatasid keskmiselt ainult 11,3%, 13,4% ja 13,7% pildipiirkonnast, et klassifitseerida numbri-, suur- ja väiketähtede tähestiku pilt täpselt (vt lisamaterjali joon. S2). Need tulemused toovad esile inimese visuaalse mõtlemissüsteemi tõhususe, ehkki madalama eraldusvõimega kui silmade jälgimise andmed, kuid väiksema müra ja varieeruvusega. Need empiirilised tulemused võivad olla kasulikud tähelepanupõhiste mudelite kujundamisel reaalsete rakenduste jaoks. Käitumise ennustamine. Selles jaotises hinnatakse meie baasmudeli toimivust selle järgi, kui täpselt see suudab ennustada iga osaleja asukohta ja klassivalikut. Kuna meie katsetulemused, milles kasutati kahte silmapaistvuse hindamisfunktsiooni, KL lahknemist ja erinevust, on üsna sarnased, esitatakse tulemused ainult erinevuste abil, kui pole öeldud teisiti. Klassi ennustus. Klassi ennustamist ja selle täpsuse hindamise meetodeid kirjeldatakse jaotises "Klassi ennustamine". Klassi ennustustäpsus, mis on näidatud joonisel 5, arvutatakse kõigi valimite jaoks kõigi klasside lõikes. Keskmine klassi ennustustäpsus kõigi valimite ja andmekogumite lõikes on 74,4% (std. dev. 26.5). Joonised 5a ja b näitavad, et osalejate ja meie baasmudeli (võrrand 2) valitud klasside komplekt on esialgsetes episoodides üsna ebatäpne ja paraneb valimite arvu suurenedes. Joonisel fig 5c on näha, et esialgsete episoodide ajal on need kaks komplekti ct ja ˆct üsna erinevad; sarnasus suureneb proovide arvu suurenemisega. Sama kehtib ka uute klassivalikute kohta (vt joonis 5f). Kuid klassi tagasilükkamised on esialgsetes episoodides sarnased; sarnasus suureneb veelgi proovide arvu suurenemisega (vt joonis 5e). Kuna J(st, ˆst)=|(ct ∩ ˆct) − ct−1| |(ct ∪ ˆct) − ct−1| ja J(rt, ˆrt)=|ct−1 − (ct ∪ ˆct)| |ct−1 − (ct ∩ ˆct)|, võib jooniselt 5e, f järeldada, et esimestel episoodidel on ct−1 ja ct ∪ ˆct vaheline ristmik väike, mis näitab, et esialgu osalejad ja meie baasmudel teha oma klassivalikus järjestikuste episoodide vahel palju muudatusi. Seetõttu on klassi valimise protsess esialgu väga stohhastiline. Kuigi esialgsete episoodide ajal on osalejate ja meie mudeli klassiennustuste vahel mõningaid erinevusi, muutub käitumine rohkemate proovide korral üha sarnasemaks. Esimese paari (tavaliselt 4–7) episoodi jooksul ilmnevad stiimuli väga silmapaistvad osad. See aitab hilisemates valimites valida ainult õige klassi, mis suurendab ennustuse täpsust. Kuna on palju klasse, mille keskmised mallid vastavad stiimuli vaadeldud osadele esimeste episoodide ajal, on klasside valikuprotsess oluliselt stohhastilisem, mis viib osalejate ja meie mudeli madala klassifikatsiooni täpsuseni.

Joonis 3. Proovivõtukohtade jaotus kõigi osalejate vahel iga numbri-/tähestikuklassi ja iga proovivõtuepisoodi kohta. Iga rida vastab klassile, iga veerg vastab proovivõtuepisoodile, mis suureneb vasakult paremale.

Asukoha ennustamine. Meie baasmudeli (võrrand 3) asukoha ennustamise täpsus on kõigi valimite ja andmekogumite keskmisena 67,7% (tavapärane dev. 14.1) (vt joonis 5d). Selle ennustustäpsuse suundumus on vastupidine klassi ennustuse täpsusele. Seletus jääb aga samaks. Asukoha ennustamise täpsus on esialgsete proovide võtmise ajal kõrge, kuna nende episoodide ajal valitakse välja väga silmapaistvad asukohad, jättes hilisemates episoodides valida vähem silmapaistvad asukohad. Kuna on palju vähese silmapaistvusega kohti, on nende valikuprotsess väga stohhastiline ja seetõttu raskesti ennustatav, mis põhjustab prognoosimise täpsuse vähenemise koos proovide võtmise suurenemisega. Langustrend on iga andmestiku puhul ainulaadne (vt joonis 5d), kuna klasside arv ja eristamiseks kasulike väga silmapaistvate asukohtade arv on andmekogumite lõikes erinev. Mida väiksem on klasside arv ja väga silmapaistvad eristavad asukohad, seda kiiremini väheneb asukoha prognoosimise täpsus koos valimite arvu suurenemisega.

Joonis 4. (vasakul) Järjestikuste valimite vahelise aja erinevuse (sekundites) veariba graafik, mis on keskmistatud kõigi klasside lõikes. Tat on, valimivõtuepisoodil t näidatud väärtus on aeg, mis kulub osaleja pildil tehtud klikkide vahel t − 1 ja t vahel. (Paremal) Segaduse veariba graafik, mis on iga episoodi kõigi klasside keskmine. Vearibad näitavad std. dev.

Joonis 5. Meie baasmudeli hindamine (vt jaotist "Käitumise prognoosimise lähtejoon"). (a) osalejate klassifitseerimise täpsus (acc.) ja (b) meie baasmudeli täpsus tegelike siltidega kui põhitõde. (c) klassifikatsiooni sarnasus (J(ct, ˆct)), (d) asukoha ennustamise täpsus, (e) klassi tagasilükkamise täpsus ja (f) meie baasmudeli klassi valiku täpsus osalejate andmetega kui põhitõde. Vaadake üksikasju jaotisest "Käitumise ennustamine".

Tabel 1. Pearsoni keskmine korrelatsioonikordaja (korr.) sama klassi fxation-jadade jaoks. Mis tahes fikseerimise korral on kaugus eukleidiline ja suunda mõõdetakse polaarnurgana stiimulite keskpunkti kui lähtepunkti suhtes. Std. dev. on lisatud sulgudesse.

RAM-i hindamine.

Iga klassi ja proovivõtu jaoks võrreldakse RAM-i fikseerimiskaarte (kasutasime RAM-i rakendust saidilt github.com/hehefan/Recurrent-Attention-Model) ja samade stiimulite kohta kogutud andmeid, mis on esitatud MTurkis. Osalejatega õiglase võrdluse huvides fikseerisime RAM-is järjestuse pikkuse T=12, esimene proovivõtukoht pildi keskel, sisendvaatlus 5 × 5 plaastrile, mille keskpunktiks on valitud asukoht, ja muutis tasu funktsiooni võrrandiga Eq. (1). Te kumulatiivne tasu, Rt ekv. (4,) asendatakse kumulatiivse skooriga t τ=1 Pτ, mis saadakse võrrandist. (1). Kuna osaleja saab igas episoodis valida mitu klassi, siis RAM-i mudeli puhul ühe klassi ennustamise asemel, mis põhineb suurimal tõenäosusel, arvestame läveks kõigi klasside keskmist tõenäosust ja ennustame klasside komplekti ct, mille tõenäosus on suurem kui künnis. Seda ct kasutatakse skoori arvutamiseks võrrandi abil. (1). Nendel tingimustel vajab RAM 3,7, 8,5 ja 7,6 näidist, et tuvastada MNIST-i numbreid, suur- ja väiketähti EMNIST-tähestiku, mis vastavad vastavalt 8,9%, 21.0%, 18,7% pildialast. Seega on RAM võrreldes meie osalejatega (vt jaotis "Andmeanalüüs") vähem tõhus. Vt tabel 2. RAM-i fikseerimiskaartide ja kogutud andmete võrdlemise tulemused on toodud tabelis 3. KL on kõrgem tänu oma tundlikkusele nullväärtuste suhtes. See tähendab, et osalejad valivad mitu asukohta, kuid mitte RAM. Neid katseid saab kasutada lähtealusena tähelepanumudeliga valitud asukohtade hindamisel.

cistanche eelised - parandab mälu

Arutelud

Käesolevas artiklis kasutatud mcAT-i paradigmal on teatud erinevusi punktidest, mis objektide tuvastamise mehhanismide uurimiseks tuginevad peamiselt silmade liigutustele ja pilkudele. Viimases tõmbavad esmalt tähelepanu stseeni silmapaistvad osad, millele järgnevad sakkaadsed silmaliigutused, mis suunavad pilgu silmapaistvatesse kohtadesse27. Pilku juhivad alt-üles ja ülalt-alla signaalid, mis koos silmapaistvuse teabega moodustavad prioriteetsed kaardid, mis juhivad silmade liikumist objekti tuvastamiseks. Kuna käesolevas uuringus osalejad vaatasid staatilisi pilte vaba vaatamise tingimustes ja piisavalt aega (kuus minutit T=12 proovide võtmiseks), tegid nad uurimiseks tõenäoliselt rea sakaadseid silmade liigutusi või visuaalseid arutluskäike28. pilt enne AOI-l klõpsamist. Need silmade liikumised oleks võinud jäädvustada emAT-is (kasutades silma jälgijat), kuid mitte mcAT-is. Neid silmaliigutusi mõjutab aga mõtetes eksimine. Kuigi mcAT-i mõjutab ka mõtetes ekslemine29, võib mõju väheneda alati, kui osalejad reageerivad pärast visuaalset arutlust. Kuna silmade liigutusi vastuseks stiimulile mõjutab käesolev ülesanne30, mõjutas osalejate silmade liikumismustreid tõenäoliselt iga proovivõtu ajal määratud kolmeetapiline ülesanne (vt jaotist "Visuaalne ülesanne"). Kui oleks kasutatud silmade jälgijat, oleksid osalejate silmade liigutused proovi uurimiseks segunenud silmade liigutustega nende valitud klasside klõpsamiseks, mis oleks proovi visuaalse uurimise tõlgendamise keeruliseks muutnud. Klassi(de) klõpsamine on vajalik samm, kuna see paljastab, ehkki introspektiivselt, osaleja meeles ennustatud klassi(d). Tõenäoliselt aitasid numbrite/tähestiku äratundmisele kõige rohkem kaasa pilgud vahetult enne ja pärast AOI valikut – võib-olla aitasid neid ka fikseerivate silmade liigutused{10}}. Tõepoolest, me eeldame, et osalejad valisid pildi diagnostilised piirkonnad, et eristada klasse, ja need alad sisaldavad tõenäoliselt alt-üles (nt visuaalne kontrast) ja ülalt alla (numbrite/tähestiku mall) diagnostilist teavet. See on kooskõlas meie järeldusega, et osalejad eristasid kiiresti (keskmiselt 5 proovi jooksul) stiimuliklasse näiliselt diagnostiliste plaastrite valimisel.

Tabel 2. Meie osalejate ja RAM-mudeli tõhususe võrdlus numbrite/tähestiku äratundmiseks vajalike näidiste keskmise arvu osas. Sulgudes on märgitud pildi ala protsent.

Tabel 3. RAM-i fikseerimiskaartide hindamine MTurki katsetes esitatud stiimulite jaoks, mis on keskmistatud kõigi klasside ja valimite lõikes. Std. dev. on lisatud sulgudesse.

Järeldused

Võtsime kasutusele mcAT-andmestiku käsitsi kirjutatud numbrite ja tähestiku äratundmiseks järjestikuse valimi abil. Andmed kogutakse 382 osalejalt, kellele esitati võrdlusandmete kogumitest (MNIST, EMNIST) valitud pildid. Keskmiselt registreeritakse 169,1 vastust numbri-/tähestikuklassi kohta. Andmeid analüüsitakse põhjalikult, et paljastada inimese visuaalse tuvastamise tõhusus. Osalejad jälgisid äratundmiseks vaid 12,8% pildist. Pakkusime välja lähtemudeli, et ennustada asukohta ja klasse, mille osaleja järgmisel proovivõtul valib. Näitasime, kuidas meie katsetingimusi ja andmeid saab kasutada tähelepanupõhise tugevdusmudeli hindamiseks võrreldes inimese jõudlusega. See mcAT-andmekogum, millel on silmade jälgimise andmetega võrreldes mitmeid eeliseid, täidab olulise tühimiku AI, ML ja muude valdkondade tähelepanupõhises mudeliuuringutes.

Viited

1. Ranzato, MA Õppimine, kust otsida. arXiv:1405.5488, (2014).

2. Ba, J., Salakhutdinov, RR, Grosse, RB, & Frey, BJ Ärka-une korduvate tähelepanumudelite õppimine. NIPS, 2593–2601 (2015).

3. Mnih, V. et al. Visuaalse tähelepanu korduvad mudelid. NIPSis, 2204–2212 (2014).

4. Ba, J., Mnih, V., & Kavukcuoglu, K. Mitme objekti tuvastamine visuaalse tähelepanuga. arXiv:1412.7755 (2014).

5. Dutta, JK & Banerjee, B. Klassifitseerimise täpsuse varieerumine pilkude arvuga. IJCNN, 447–453 (IEEE, 2017).

6. Larochelle, H. & Hinton, GE Foveal pilguheite ühendamine kolmanda järgu Boltzmanni masinaga. NIPS, 1243–1251 (2010).

7. Elsayed, G., Kornblith, S. & Le, QV Saccader: Nägemise kõva tähelepanu mudelite täpsuse parandamine. NIPS, 702–714 (2019).

8. van Beers, RJ Te allikad varieeruvuse kohta saccadic silmaliigutused. J. Neurosci. 27(33), 8757–8770 (2007).

9. Itti, L. & Baldi, P. Bayesi üllatus tõmbab inimese tähelepanu. Vis. Res. 49(10), 1295–1306 (2009).

10. Egner, S. et al. Tähelepanu ja teabe hankimine: hiireklõpsu võrdlus silmade liikumise tähelepanu jälgimisega. J. Eye Mov. Res. 11(6), (2018).

11. Peterson, MS, Kramer, AF & Irwin, DE Varjatud tähelepanu nihked eelnevad tahtmatutele silmade liigutustele. Taju. Psühhofüüsid. 66(3), 398–405 (2004).

12. Jiang, M. et al. Räni: silmapaistvus kontekstis. CVPR, 1072–1080 (2015).

13. Kim, NW et al. BubbleView: liides piltide tähtsuse kaartide hankimiseks ja visuaalse tähelepanu jälgimiseks. ACM Trans. Arvuta. Humm. Suhelda. 24(5), 1–40 (2017).

14. Sermanet, P., Frome, A. & Real, E. Tähelepanu peeneteralisele kategoriseerimisele. arXiv:1412.7054 (2014).

15. Egner, S., Itti, L. & Scheier, C. Tähelepanu mudelite võrdlemine erinevat tüüpi käitumisandmetega. Uurige. Oftalmool. Vis. Sci. 41(4), S39 (2000).

16. Navalpakkam, V. et al. Silma-hiire käitumise mõõtmine ja modelleerimine mittelineaarsete lehepaigutuste juuresolekul. Proc. Int. Conf. WWW, 953–964 (2013).

17. Matzen, LE, Stites, MC & Gastelum, ZN Visuaalse otsingu uurimine ilma silmajälgijata: tehisliku foveatsiooni hindamine. Cogn. Res. Prints. Kaudne. 6(1), 1–22 (2021).

18. Tafi, AP et al. OCR kui teenus: Google Docsi OCR-i, Tesseracti, ABBYY FineReaderi ja Transymi eksperimentaalne hindamine. Int. Sümp. Vis. Comput., 735–746 (Springer, 2016).

19. Memon, J., Sami, M., Khan, RA & Uddin, M. Käsitsi kirjutatud optiline märgituvastus (OCR): põhjalik süstemaatiline kirjanduse ülevaade (SLR). IEEE Access 8, 142642–142668 (2020).

20. Chaudhuri, A., Mandaviya, K., Badelia, P. & Ghosh, SK Optilised märgituvastussüsteemid. In Optical Character Recognition Systems for Different Languages ​​with Sof Computing, 9–41 (Springer, 2017).

21. LeCun, Y. et al. Gradiendipõhine õpe, mida rakendatakse dokumentide tuvastamisel. Proc. IEEE 86(11), 2278–2324 (1998).

22. Cohen, G., Afshar, S., Tapson, J. & van Schaik, A. EMNIST: MNISTi laiendus käsitsi kirjutatud kirjadele. arXiv:1702.05373, (2017).

23. Gregor, K., Danihelka, I., Graves, A., Rezende, D. & Wierstra, D. DRAW: A recurrent neural network for image generation. ICML, 1462–1471 (2015).

24. Friston, K. Te vaba energia printsiip: ligikaudne juhend ajule?. Trends Cogn. Sci. 13(7), 293–301 (2009).

25. Mirza, MB, Adams, RA, Friston, K. & Parr, T. Aktiivsel järeldamisel põhineva bayesiliku valikulise tähelepanu mudeli tutvustamine. Sci. Vabariik 9 (1), 1–22 (2019).

26. Bylinskii, Z., Judd, T., Oliva, A., Torralba, A. & Durand, F. Mida erinevad hindamismõõdikud meile silmapaistvusmudelite kohta ütlevad? IEEE Trans. Muster Anal. Mach. Intell. 41(3), 740–757 (2018).

27. Itti, L. & Koch, C. Visuaalse tähelepanu arvutuslik modelleerimine. Nat. Rev Neurosci. 2(3), 194–203 (2001).

28. Lamme, VAF Teadlikku nägemist genereerivad visuaalsed funktsioonid. Esiosa. Psychol., 11, (2020).

29. da Silva, MRD & Postma, M. Rändavad meeled, rändhiired: arvutihiire jälgimine kui meetod meelerändamise tuvastamiseks. Arvuta. Humm. Behav. 112, 106453 (2020).

30. Schütz, AC, Braun, DI & Gegenfurtner, KR Silmade liigutused ja taju: valikuline ülevaade. J. Vis. 11(5), 9–9 (2011).

31. Intoy, J. & Rucci, M. Peenhäälestatud silmade liigutused suurendavad nägemisteravust. Nat. Commun. 11(1), 1–11 (2020).