Seosed asjatundlikkuse ja eristusvõime vahel: ebanormaalsed meditsiinilised pildid viivad mälu paranemiseni ainult ekspertide 3. osas

Tuletage meelde katse 1 sarnasusanalüüsi, et meie andmekogumis olevad normaalsed pildid on üksteisega vähem sarnased kui ebanormaalsed pildid. Seega peaks tavapiltide mälu olema parem kui ebanormaalne (nagu see oli algajatel).

Piltide mälu ja mälu on lahutamatud. Meie mälu võib jagada visuaalseks mäluks, kuulmismäluks, haistmismäluks, puutemäluks jne. Nende hulgas on nägemismälu meie elus kõige sagedamini kasutatav mälu. Pildimälu viitab meie meeltes moodustunud pildiinfo mälule.

Piltide mälul on meie elus väga oluline positiivne tähendus. Esiteks saame seda kasutada objektide, inimeste ja stseenide tuvastamiseks ja tuvastamiseks. Näiteks kui näeme sõpra tänaval kõndimas, kulub tema näo äratundmiseks vaid mõni sekund. See on meie pildimälu tulemus. Teiseks võib piltide mälu aidata meil paremini õppida. Sõnad, pildid ja diagrammid, mida me näeme, nõuavad meilt neile juurdepääsu ja säilitamist piltide mälu kaudu. Lõpuks võib piltide mälu aidata meil mõisteid ja mustreid paremini mõista ja meeles pidada.

Samal ajal võib hea mälu parandada ka meie pildimälu võimekust. Mõned teaduslikud uuringud näitavad, et mälu harjutamise võimaluse kasutamine juba varases eas võib parandada meie aju arengut ning parandada õppimis- ja mäluvõimet. Näiteks vaikse lugemise meetodi kasutamine võib oluliselt parandada meie mälu. Lisaks võib tähelepanu pööramine heade eluharjumuste säilitamisele, nagu regulaarne töö ja puhkus, rohkem liikumist, tervislik toitumine jne, soodustada meie aju tervislikku arengut ja parandada mälu.

Lühidalt, piltide mälu ja mälu edendavad ja mõjutavad üksteist. Me saame parandada oma pildimälu võimet säilitada head eluharjumused ja aktiivselt mälu treenida. Usun, et igaühel on tugev pildimälu võime ning seni, kuni ta seda hästi ära kasutab, on võimalik saavutada elus ja töös paremaid saavutusi ja kogemusi. On näha, et meil on vaja mälu parandada ja Cistanche deserticola võib oluliselt parandada mälu, sest Cistanche deserticola suudab reguleerida ka neurotransmitterite tasakaalu, näiteks tõsta atsetüülkoliini ja kasvufaktorite taset. Need ained on mälu ja õppimise jaoks väga olulised. Lisaks võib Cistanche deserticola parandada ka verevoolu ja soodustada hapniku kohaletoimetamist, mis tagab aju piisava toitainete ja energia kättesaamise, parandades seeläbi aju elujõudu ja vastupidavust.

Klõpsake käsul Tea lühiajalist mälu, kuidas parandada

See on mälu ebanormaalsetele piltidele, mis sobivad paremini radioloogide vaatlejatele. See viitab sellele, et asjatundlikkuse mõju rohkem kui kompenseerib kujutise sarnasuse stiimulikategooriate erinevusi. Et näha, milline on ebanormaalsuse mõju, sõltumata algtaseme kujutise sarnasuse erinevustest, saame võrrelda radioloogide mälu jõudluse tonoviitside jõudlust samade piltidega.

Selleks võrdleme radioloogide ROC-i AUC kasu võrreldes kontrollidega igas seisundis. Seda tehes ilmneb oluline kõrvalekallete eelis nii 3-seljas, t(31) =6.67, p < 0,001 ja 30-tagasi ekspertide radioloogide hinnangul, t(31) {{ 9}},33, p < 0,001, kus radioloogid mäletasid paremini ebanormaalseid pilte (vt joonis 8).

Lisateabe hankimine teise esitlusega

Selle katse ülesehituse tõttu, mis on loodud mälu kontrollimiseks, on igal mälukomplekti üksusel kaks klassifikatsiooni (normaalne/ebanormaalne). Seega, kuigi me asusime mälu uurima, võimaldab eksperiment meil mõlemat hinnangut kombineerida, et uurida, kas selles olukorras on "rahvahulga sees" (Vul & Pashler, 2008). Autorid pakkusid välja rahvahulga sees kui "rahvahulga tarkuse" variandi.

Nad leidsid, et ühe üksikisiku vastuste keskmistamine sama küsimuse kordustele annab parema tulemuse kui üksikud vastused üksi. See on see, mida võiks oodata, kui üksainus kohtuotsus ei sisaldaks kogu teavet, mis inimestel võib küsimuse kohta olla. Kui see kehtib asjatundlike radioloogide poolt tehtud mammogrammide hinnangute kohta, siis eeldame, et radioloogi kõrvalekallete hinnangute keskmistamine kahe sama mammogrammi kokkupuute korral peaks andma parema täpsuse kui kummagi hinnangu eraldi vaatlemine.

Pange tähele, et erinevalt Vuland Pashlerist (2008) on selles olukorras osalejatel teist korda lisateavet – kui nad näevad pilti uuesti enne teist kohtuotsust, siis neid uuesti ei küsita. Seega võib antud juhul rahvahulk siin tuleneda tegeliku uue teabe kaasamisest (nt vaatleja võib uurida pildi erinevaid osi), mitte sisemisest proovivõtust.

Leiame mõlema hinnangu kaasamisel tagasihoidliku, kuid olulise eelise: radioloogide vastuste keskmistamine esimesel ja teisel korral, kui nad pilti nägid, andis 30-seljaseisundis (AUC =0,745) võrreldes veidi parema tulemuse. ühe üksuse jõudlusega (AUC =0.716), t(31)=3.46, p=.002 (vt joonis 9, vasakul). Mõju ei olnud 3-seljaseisundis märkimisväärne (liigese AUC =.712, üksik AUC=.705), t(31)=1.15, p {{ 19}} .259. Pole üllatav, et see efekt ei ilmnenud algajatel, kuna nende jõudlus oli mõlema vastuse puhul väga halb (vt joonis 9, paremal; kõik ps > .10).

Seega saab ekspertide töötulemusi parandada (ehkki üsna tagasihoidlikult) rohkem kui ühe vastuse keskmistamisega. Jääb näha, kas see kasu tekiks, kui radioloogidele pakutaks iga pildi töötlemiseks piiramatut aega, mitte praeguses uuringus 3 sekundit. Piiratud vaatamisaeg võib olla eriti suurendanud radioloogide võimet hankida uut teavet mammogrammi teisel vaatamisel.

Üldine arutelu

Käesolevas uuringus uurisime mitteekspertide algajate ja asjatundlike radioloogide mälu toimivust normaalsete versus ebanormaalsete mammograafiapiltide puhul juhtumiuuringuna, et mõista skeemide rolli, eristamist ja teadmisi mälus.

Selleks tuginesime ROC analüüsile, mille eesmärk on mõõta õigesti mälu, sõltumata erinevustest reageerimiskriteeriumides, ja võtta arvesse nii nähtud üksuste mälu kui ka valehäirete võimalust.

 Esiteks uurisime, kui enesekindlad ja pädevad algajad ja asjatundlikud vaatlejad olid meditsiinipiltide normaalseks või ebanormaalseks klassifitseerimisel. Pole üllatav, et radioloogid olid selle ülesande täitmisel palju paremad kui algajad. Algajatel õnnestus ebanormaalsusi eristada, kuigi see näis olevat peamiselt mõne silmapaistva kujutise tulemus. Teiseks uurisime meie peamist huvipakkuvat küsimust: piltide mälu. Katses 1 uurisime mäluformamogramme algajatel, kellel ei ole nende piltide töötlemiseks vajalikke teadmisi.

Leidsime, et üldine jõudlus on halb, aga ka algajate osalejate mälus väike normaalsuse eelis, mida võib seletada tavaliste piltide suurema kujutise erinevusega. Seega andis 1. katse (algajatele) meile mitte ainult algtaseme mälusoorituse, vaid ka arusaamise meie pildikomplekti keerukusest, näidates, et mõned ebanormaalsed kujutised olid üsna silmapaistvad ja meie tavalised kujutised erinevad üksteisest rohkem.

Kuigi meie komplekti tavalised kujutised olid visuaalselt eristuvamad, avastasime katses 2, et radioloogidel on ebanormaalsete piltide jaoks parem mälu ja nende mälu jõudlus oli algajatega võrreldes palju parem. See annab ülevaate sellest, kuidas asjatundlikkus muudab mälu: mitte ainult ei paranda tavaliste üksuste kodeerimist, vaid suurendab ka ebanormaalsete üksuste eristatavust.

Seega, kuigi ekspertidel võib olla juurdepääs tajutava kodeerimise eelistele, eristatavusele ja/või skeemidele/tükeldamisele, mis võimaldab neil algajaid edestada, on meie järeldus ebanormaalsete piltide asjatundlikkusest saadava lisakasu kohta kõige paremini kooskõlas eristatavuse erirolliga. Ekspertide jaoks on ebanormaalsetel piltidel ainulaadsed omadused, mis eristavad neid teistest mälus olevatest üksustest; algajate jaoks ei ole need funktsioonid hinnatud ja seetõttu on need pildid nagu kõik teised pildid.

Näiteks on üks võimalus, et kogu kujutise kodeerimise asemel kodeerivad radioloogid ebanormaalsete kujutiste korral spetsiaalselt kõrvalekalde, mitte ülejäänud kujutise. See võib vähendada selle pildi mälukoormust ja muuta selle pildi mälujälje eristatavamaks.

Laias laastus leiame tugevaid tõendeid skeemide rolli ja eristatavuse kohta mälus, isegi kui on võetud arvesse valemälu ja reaktsioonikriteeriumide nihke võimalust: leiame, et eksperdid on märkimisväärselt paremad kui algajad ja et mälu ebanormaalsetel juhtudel, kui fookus on nähtav, on parem. kui mälu muud pildid. Puudusid tõendid selle kohta, et "ebanormaalsete" kontralateraalsete juhtumite puhul oleks mälu kasulikkus.

Mälu mõõtmine: valehäired ja ROC analüüs

Praegustes uuringutes kasutasime mälu uurimiseks ROC analüüsi. Selle põhjuseks on asjaolu, et varasemas töös on sageli olnud ebaselge, kas skeemipõhise teabe, nagu ekspertide poolt teatatud, eelised on tegelikult mälu paranemine, mitte reageerimiskriteeriumide muutused. Et teha kindlaks, kas mälu on paranenud, ei piisa lihtsalt usaldusväärsest tõusu määrast, millega vaatlejad teatavad, et nad on mõne teabega kokku puutunud (tõeline positiivne või tabamusmäär). Vaatleja võib sagedamini öelda "Jah, ma olen seda näinud".

See tooks kaasa valepositiivsete (või valehäirete) vigade arvu suurenemise. Mäluuuringute kontekstis võib neid valepositiivseid vigu vaadelda kui valemälu vormi. Teoreetiliselt suudavad signaali tuvastamise mudelid ja mõõdud, nagu d', neid kahte eristada, kuid praktikas on d' eeldused vastuse nihkega (võrdne dispersioon; zROC-i kalded=1.0) õigeks kohandamiseks harva olemas äratundmismälu kontekstid ja neid siin ei olnud.

Seega on ROC-analüüs vajalik selleks, et eristada erinevusi mäletamisvõimes võrreldes kriteeriumite nihkega, mis peegeldaks vaatlejate suurenenud kalduvust öelda, et nad mäletavad (nt Wixted & Mickes, 2015).

Kas valemälu on tõeline mure? Varasemad tööd on leidnud, et mälus teabe korraldamisel skeemide kaudu võivad olla nii positiivsed kui ka negatiivsed tagajärjed – ja eriti sageli suureneb valehäirete arv, mistõttu on raske kindlaks teha, kas mälu on tõesti paranenud. Täpsemalt, kuigi suurem arusaamine – nagu asjatundlikkuse puhul – võib võimaldada ainult asjakohaste detailide kodeerimist, vähendades mälukoormust, võib see põhjustada ka seda, et me mäletame valesti teavet, mida ei olnud (nt Owens et al., 1979). Näiteks tuvastustestides annavad inimesed tõenäolisemalt valehäireid skeemidele vastavuses olevate lantide suhtes.

Tõenäoliselt teataksid nad ekslikult, et näevad kraadiõppuri kabinetis raamatuid kui ebajärjekindlaid objekte, nagu puukoor või tangid (Brewer & Treyens, 1981; Lampinen et al., 2001). Ja kuigi osalejad mäletavad lühidalt esitletud stseenis tõenäolisemalt õigesti skeemipõhist teavet (Biederman et al., 1982; Brewer & Treyens, 1981), mäletavad nad seda teavet ka tõenäolisemalt valesti (nt Hollingworth & Henderson, 2003 Pedzek et al., 1989).

Seega, täieliku ROC-i mõõtmine – selle asemel, et püüda järeldada, kuidas reageerimise kallutatus muudaks jõudlust, kasutades selliseid meetmeid nagu A', d' või tabamused miinus valehäired -, annab sageli üllatavaid vastuseid mälu kohta, eriti sellistes olukordades nagu teadmised ja järjekindlad/ebajärjekindlad üksused, kus on teada, et mõlemad tabamuste ja valehäirete määrad.

Näiteks Dougal ja Rotello (2007) kasutasid ROC-analüüsi, et näidata, et "täiustatud mälu" esiemotsionaalsete sõnade tuntud mõju võrreldes neutraalsete sõnadega on vastuse kallutamise efekt, mitte sõnadevaheline mälu tegelik erinevus. Samamoodi on Mickes et al. (2012) näitasid pealtnägijate mälus, et järjestikused koosseisud, mis vähendavad nii valehäireid kui ka tabamuste arvu samaaegsete rivistustega võrreldes, on madalamad kui samaaegsed rivistused, vastupidiselt suurele hulgale kirjandusele, mis viitab vastupidisele (nt Wellset al., 2011), kuna peamine "kasu" tuleneb lihtsalt reageerimiskriteeriumi nihkest, mitte mälu tugevuse muutumisest.

Seega pakuvad praegused katsed ainulaadseid tõendeid selle kohta, et teadmised ja eristusvõime, mis on nähtavad ainult ekspertidele, parandavad mälu ja et see ei ole lihtsalt reageerimiskriteeriumi nihe.

Mis seletab, et radioloogid on algajatest paremad

Kooskõlas paljude eriteadmiste alal tehtud töödega leiame, et asjatundlikud radioloogid edestavad mammogrammide meeldejätmisel algajaid. Üks tõenäoline võimalus on, et see juhtub ekspertide teadmiste tõttu nende piltide kohta: neil on asjakohased teadmised, mis võimaldavad neil neid pilte mõista viisil, mida algajad ei mõista, ja tõenäoliselt on nende visuaalsesse süsteemi aastatepikkuse kogemuse põhjal sisse ehitatud tajuoskused (nt. suurema tervikliku töötlemise vorm, nt Richler et al., 2011). Eelkõige oleks eksperdi jaoks ebanormaalsetel piltidel aastatepikkuse kogemuse jooksul õpitud atribuut (see mass, see lupjumine), mis aitaks üksust mälus eristada.

Kuid praeguses uuringus ei püüdnud me oma eksperte oma algajatega otseselt sobitada. Meie algajate kogum võeti Internetist, mis esindab USA demograafiat palju laiemalt kui bakalaureuseõppe elanikkond (nt Difallah et al., 2018), kuid erineb tõenäoliselt mitmel viisil meie radioloogidest (indemograafilised ja sotsiaalmajanduslikud tegurid, samuti motivatsioon keskenduda mammogrammipiltidele).

Seega tuleks 1. katset võtta ainult ligikaudse lähtetasemena: see paljastas meie stiimulikomplektis olulised pildiomadused ja osutab tugevate ekspertiisiefektide võimalikkusele, kuid ei kinnita otseselt, et need põhinevad üksnes teadmistel, mitte muudel teguritel.

Mälu ja kõrvalekallete otsused radioloogidel

Varasem töö on radioloogide mälu paranemise uurimisel leidnud erinevaid tulemusi. Näiteks Hardesty et al. (2005) uurisid radioloogide pikaajalist mälu kuude pärast esitatud meditsiiniliste piltide jaoks ja avastasid, et ükski radioloogidest ei mäletanud juhtumeid, mida nad olid varem lugenud. Evans et al. (2016) leidsid segaseid tulemusi, kui nad uurisid, kas kõrvalekalle parandab asjatundlike vaatlejate, sealhulgas radioloogide mälu.

Omeie tulemused annavad neile ebaselgustele konteksti, kuna need viitavad sellele, et asjatundjatel radioloogidel on ebanormaalsete piltide jaoks tugevam mälu isegi pikaajalise mälu tingimustes ja isegi siis, kui reageerimise kallutatust võetakse ROC analüüsi abil õigesti arvesse. Kuid meie pikad viivitused olid vaid minutite, mitte kuude suurusjärgus, mistõttu jääb ebaselgeks, kuidas sellised eelised pika aja jooksul kestavad. Väärib märkimist, et klassifikatsiooniülesandes toimisid radioloogid keskmiselt palju kehvemini, kui võiks eeldada. radioloogid kliinikus piiramatu vaatamisajaga (d'=2.5–3.0, nagu D'Orsi et al., 2013). Selle üheks põhjuseks võib olla see, et iga meie uuringu pilti esitati ainult 3 sekundit.

Näiteks Evans et al. (2013) näitas radioloogidele vaid põgusat ülevaadet mammogrammidest ja varieeruvat ajastust 250 ms kuni 2,000 ms. Radioloogide vastavad AUC-d nende katses 500 ms, 1, 000 ms ja 2,000 ms vaatamisaegadel olid vastavalt 0,65, 0,66 ja 0,72 . Meie katses esitlusajaga 3,{16}} ms leidsime AUC väärtuseks 0,72. Seega andsid meie 3,{20}}ms esitlused Evansi jt 2,{22}}msesitlusega sarnase jõudluse. (2013), mis on küll tunduvalt madalam piiramatu vaatamisaja puhul eeldatust, kuid on kooskõlas teiste uuringutega ja sellega, et vaatamisaeg on peamine piirang, mis toob kaasa madalama jõudluse.

Radioloogide "rahvahulga sees" efekt

Kuna meie uuringus vastasid radioloogid samale kujutise liigitusküsimusele mitu korda, uurisime, kas radioloogide vastuste keskmistamine, kui nad hindasid sama kujutist kaks korda, andis tulemuseks parema jõudluse ("rahvahulga sees" efekt; Vul & Pashler, 2008). Leidsime, et radioloogide tulemuslikkus paranes, kui seda sama pildi kohta kaks korda keskmistada, võrreldes kummagi vastusega eraldi, kuid ainult 30-seljaseisundis ja isegi siis tagasihoidlikult. See näitab, et selleks ajaks, kui radioloogidele esitati sama pilt 30 pilti hiljem, olid nad andsid vastuse, mis oli mõnevõrra sõltumatu nende esimesest vastusest.

See viitab sellele, et praegustes katsetingimustes võib olla teavet, mida radioloogid ei kasuta esimest korda, kui nad pilti näevad, ja et võimalus pilti uuesti näha võimaldab radioloogil koguda kasulikku lisateavet. Tulevased uuringud võivad kindlaks teha, kas sellised eelised säilivad, kui ekspertidele antakse piiramatult aega piltide töötlemiseks, ja kas seda efekti saab suurendada veelgi pikema viivitusega pildi esimese ja teise esituse vahel (nagu leidsid Vul & Pashler, 2008).

Ebanormaalsuse "sisu".

Arvestades Evansi jt. (2016) leides, et kontralateraalses rinnas esineb "ebanormaalsuse põhiolemus", kui lokaliseeritavat kõrvalekallet ei esine, soovisime teada, kas neil vastaskülgsetel-ebanormaalsetel piltidel on eksperdimälus tavaliste kujutiste ees eeliseid. Me ei leidnud selliseid tõendeid. Meie katses ei leidnud me ka erinevust ebanormaalsuse klassifikatsioonis kontralateraalsete normaalsete piltide ja normaalsete piltide vahel. ,

Kuigi alguses võib see tunduda vastuolus varasema tööga, raskendavad mitmed metoodilised erinevused meie tulemuste võrdlemist Evansi jt. (2016). Võimalik, et me ei leidnud seda tulemust, kuna esitasime pilte pikema kodeerimisaja jooksul (3, 000 ms). Tüüpiline stiimuliga kokkupuude mammogrammi põhiuuringutes on olnud alla sekundi; tüüpiline on 500 ms. Võimalik, et kujutiste esitamine pikemate kodeerimisaegade jooksul võib varjata põhiteavet, kirjutades esialgse "põhimulje" üle rohkema semantilise või tähendusrikkama teabega.

Samuti tuletage meelde, et meie radiolooge ei teavitatud põhiolemusest ja nad jätsid oma "ebanormaalsed" hinnangud tõenäoliselt juhtudeks, kui nad võivad kahjustuse lokaliseerida. Võimalik, et me täheldaksime kontralateraalset ebanormaalset efekti isegi pikkadel kodeerimisaegadel, kui juhiksime osalejaid selgesõnaliselt otsima üldisemat ebanormaalset tekstuuri või sisu. Arvestades neid metodoloogilisi erinevusi, ei saa praegust uuringut hõlpsasti võrrelda Evansi jt. (2016). See näib aga olevat paljulubav võimalus tulevaseks tööks.

Järeldus

Kasutades juhtumiuuringuna radiolooge, leiame nii ekspertide eelise kui ka ebanormaalsete piltide puhul eelise – isegi kui ROCanalüüsi abil mälu õigesti mõõta. See on üldjoontes kooskõlas kirjanduse onskeemidega. Meie leiud avaldavad olulist mõju nii rakendusvaldkondadele, mis kasutavad järeldusotsuste tegemisel ekspertteadmisi, kui ka teoreetilistele valdkondadele, mis on huvitatud sellest, kuidas mälu muutub koos teadmistega. Eelkõige on ekspertide mälu struktuuri mõistmine kriitilise tähtsusega olukordades, kus otsuseid peavad tegema inimesed, kellel on märkimisväärsed teadmised.

Tänuavaldused Kõik sellesse projekti panustanud isikud on lõputöö autorid.

Autorite kaastööd Kõik autorid aitasid kaasa algsele hüpoteesile ning lugesid läbi ja kiitsid heaks lõpliku käsikirja. HMS aitas kaasa andmete kogumisele, andmete analüüsile ja käsikirja kirjutamisele. TFB aitas kaasa andmete kogumisele, andmete analüüsile ja käsikirja toimetamisele. JMW andis üldisi juhiseid ja aitas kaasa käsikirja toimetamisel.

Rahastamine Seda uuringut toetas NSF BCS-1829434 TFB-le

Andmete kättesaadavus Andmete ja materjalide saamiseks võtke ühendust vastava autoriga.

Deklaratsioonid

Eetika heakskiit ja nõusolek osalemiseks Kõik osalejad andsid teadliku nõusoleku. Kõigi selle uuringu katsete jaoks kiitis informeeritud nõusoleku protseduurid heaks San Diego California ülikooli institutsionaalse ülevaatenõukogu.

Nõusolek avaldamiseks ei ole kohaldatav.

Viited 

1. Bainbridge, WA, Isola, P. ja Oliva, A. (2013). Näofotode sisemine meeldejäävus. Journal of Experimental Psychology: General, 142(4), 1323–1334.

2. Bartlett, FC (1932). Meenutades: eksperimentaalne ja sotsiaalne uuring. Cambridge University Press.

3. Berinsky, AJ, Huber, GA ja Lenz, GS (2012). Online-tööturgude hindamine eksperimentaalsete uuringute jaoks: Amazon.com'sMechanical Turk. Poliitiline analüüs, 20(3), 351–368.

4. Biederman, I., Mezzanotte, RJ ja Rabinowitz, JC (1982). Stseeni tajumine: suhete rikkumistega objektide tuvastamine ja nende üle otsustamine. Kognitiivne psühholoogia, 14(2), 143–177.

5. Bilalić, M., Langner, R., Ulrich, R., & Grodd, W. (2011). Paljud asjatundlikkuse näod: Fusiform näopiirkond maleekspertidel ja algajatel. Journalof Neuroscience, 31(28), 10206–10214.

6. Brady, TF ja Alvarez, GA (2011). Hierarhiline kodeerimine visuaaltöömälus: ansamblistatistika nihkemälu üksikute üksuste jaoks. Psühholoogiateadus, 22(3), 384–392.

7. Brady, TF, Alvarez, G. ja Störmer, V. (2019). Tähenduse visuaalse mälu roll: näo selektiivne ajutegevus ennustab mälu mitmetähenduslike näoärrituste jaoks. Journal of Neuroscience, 39(6), 1100–1108.

8. Brewer, WF ja Treyens, JC (1981). Skeemide roll mälukohtades. Kognitiivne psühholoogia, 13(2), 207–230.

9. Buhrmester, M., Kwang, T. ja Gosling, SD (2011). Amazon'sMechanical Turk: uus odavate, kuid kvaliteetsete andmete allikas? Perspectives on Psychological Science, 6(1), 3–5.

10. Calkins, MW (1894). Eksperimentaalne. Psychological Review, 1(3), 327–329.

For more information:1950477648nn@gmail.com