Liiklusmärkide tuvastamine YOLOv3 algoritmi 3. osa alusel

3.3. Priori raamide genereerimine K-Meansi rühmitamisalgoritmi alusel

Ankurmehhanism rakendati YOLOv2-s ja ankrute arvu suurendati YOLOv3-s üheksani, et muuta loodud kandidaatpiirkonnad sarnasemaks ehtsate märgistatud kaadritega ja suurendada tuvastusvõrgu tagasikutsumist.

Märgitud kaadrite ja mälu vahel on tugev seos. Raamide märgistamine võib aidata meil luua fikseeritud, korrapärase ja korrastatud mäluraamistiku, mis muudab suurte teabekoguste meeldejätmise lihtsamaks. Näiteks keele õppimisel saame kasutada märgitud raame uute sõnade ja grammatikareeglite meeldejätmiseks. Ajaloo ülevaatamisel saame kasutada märgitud raame ajaloosündmuste ja ajajoonte meeldejätmiseks. Nii saame muuta abstraktsed teadmised konkreetsemaks ja arusaadavamaks.

Samal ajal võib raamide märgistamine stimuleerida ka meie aju assotsiatiivset võimet, parandades seeläbi meie mälu. Kuna meie mälu põhineb assotsiatsioonil ja seotusel, saame markeeritud raamid kehtestades loomulikumalt siduda uusi teadmisi olemasolevate teadmistega, süvendades mälu ja mõistmist.

Inimese mäluvõimet saab treenida ja parandada. Läbi pideva harjutamise ja mälutehnikate, näiteks raamide märgistamise, kasutamise saame parandada oma mälu ning paremini toime tulla keerulise info ja ülesannetega elus ja töös.

Lühidalt öeldes on raamide märgistamine väga tõhus mälutehnika. See aitab meil olulist teavet kiiremini ja täpsemalt meelde jätta. Samuti võib see stimuleerida meie assotsiatsioonivõimet ja parandada mälu. Kasutagem aktiivselt märgistatud kaadreid, et oma mäluoskusi pidevalt parandada! On näha, et me peame parandama mälu ja Cistanche deserticola võib oluliselt parandada mälu, sest Cistanche deserticola on traditsiooniline Hiina ravimmaterjal, millel on palju ainulaadseid toimeid, millest üks on mälu parandamine. Hakkliha tõhusus tuleneb selles sisalduvatest erinevatest toimeainetest, sealhulgas hapetest, polüsahhariididest, flavonoididest jne. Need koostisosad võivad aju tervist mitmel viisil edendada.

Lühimälu parandamiseks klõpsake nuppu Tea

Algse ankru kasutamine ei olnud asjakohane, kuna liiklusmärgid on peamiselt väikesed ja keskmised sihtmärgid ning TT100K andmekogus on vähem suuri sihtmärke. Konkreetse andmestiku jaoks võib sobiva esialgse ankru valimine parandada tuvastamise efekti, hõlbustada võrgu õppimist ja suurendada piirdekasti tuvastamise kiirust.

K-keskmiste klasterdamisalgoritmi voog kandidaatkastide saamiseks on näidatud joonisel 7.

TT100K andmekogumis sisaldas täiustatud YOLOv3 võrgustruktuur funktsioonide prognoosimise skaalat, mille tulemuseks oli neli skaalat ja kaksteist ankrut: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29) ja (41, 44).

4. Eksperimendid ja tulemuste analüüs

4.1. Andmekogum ja hindamisnäitajad

On mõned suured avalikult kättesaadavad liiklusmärkide andmestikud, millest enamik kasutab GTSDB-d, kuid GTSDB ei ole sama mis Hiina liiklusmärgid. CTSDB, CCTSDB ja TT100K on muu hulgas Hiina liiklusmärkide andmestikud.

CCTSDB laiendati CTSDB alusel ja selle kategooriad jagati hoiatus-, suuna- ja keelumärkideks ilma liiklusmärkide üksikasjaliku liigituseta.

TT100K liiklusmärkide kollektsioon loodi Tencenti ja Tsinghua ülikooli koostöös. See pakkus liiklusmärkide põhjalikku kategoriseerimist ja tuvastamist, hõlmas erinevaid kliima- ja valgusolusid ning oli täpsem tegelike sõiduolukordade jaoks.

Seetõttu kasutati selles töös liiklusmärkide andmestikku TT100K ning mõned liiklusmärgid ja kategooriateave on näidatud joonisel 8.

Andmestikul TT100K on 100,000 fotot eraldusvõimega 2048 x 2048 pikslit, kuigi on märgistamata liiklusmärkide kujutisi ja mõnel kategoorial on vaid mõni pilt või dubleeritud kujutised, mis vähendab tuvastamise efekti.

Seetõttu eemaldati käesolevas töös andmestikust märgistamata ja dubleerivad liiklusmärkide kujutised ning valiti välja 45 suure liiklusmärkide arvuga kategooriat, kus 45 liiklusmärkide kategooriat olid: pn, pne, i5, pll, pl40, po,pl50, pl80 , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30 ja w32 ning iga liiklusmärgi kategooria number on näidatud joonisel 9.

Jooniselt 9 on näha, et isegi kui valiti 45 kategooriat suure hulga liiklusmärkidega, oli iga kategooria andmemahus siiski märkimisväärne tasakaalustamatus, mille tulemuseks oli halb mudeli prognoosimise täpsus. Selle tulemusel, nagu on näidatud joonisel 10, tasakaalustas ja laiendas see töö andmestikku, kasutades selliseid taktikaid nagu värvide hajutamine, Gaussi müra ja kujutise pööramine, et tagada iga kategooria võrdsus, kui võimalik.

Mosaiik-lähenemine loeb korraga neli pilti, skaleerib ja muudab iga pildi värvigammat, korraldab need neljas suunas ja seejärel ühendab pildid kokku, et luua sihtmärgi tegelik kaader.

Täiustusmeetod ühendab neli pilti, mis võrdub nelja kujutise parameetrite arvutamisega ühe sisendiga. See võib vähendada piltide arvu partii sisestamiseks, vähendada koolituse raskusi ja koolituskulusid, parandada koolituse kiirust ja suurel määral rikastada proovide arvu andmekogumis, mis soodustab õppimist.

Selles artiklis kasutati mudeli toimivuse hindamiseks COCO andmestiku hindamismõõdikuid, sealhulgas mAPou - 050AP, APM, AP ja mitut muud mõõdikut. Eelkõige kuulus enamik liiklusmärkide andmekogu TT100K liiklusmärke väikestele sihtmärkidele, mistõttu tuli erilist tähelepanu pöörata väikeste sihtmärkide tuvastamise täpsusele. Hindamismõõdikute konkreetsed tähendused on järgmised.

AP: PR-kõvera all olev ala, kus PR on vastavalt täpsus ja meeldetuletus:

API {{0}}.50: kui IoU lävi on seatud väärtusele 0,50, on see andmestiku kõigi AP kategooriate keskmine, mis on PASCAL VOC andmestiku hindamisindeks ja vastab sellele kuni APIoU=0.50 COCO hindamisindeksismAPloU= 0.50: kui loU lävi on seatud väärtusele 0,50, on see andmestiku kõigi AP kategooriate keskmine, mis on PASCAL VOC andmestikku ja vastab COCO hindamisindeksi APloU=0.5-le.

AP-d: MAP-i keskmine väärtus väikeste objektide jaoks: pindala < 322 ja loU=vahemik (0.5, 1.00, 0.05) kokku 10 oUs.

APm: keskmised objektid: 322 < ala < 962 ja loU=vahemik (0.5, 1.00, 0.05) mAP keskmine väärtus kokku 10 IoU.

AP: MAP keskmine väärtus suurte objektide puhul: pindala > 962 ja loU=vahemik (0.5, 1.00, 0.05 kokku 10 IoUs.

4.2. Katsetulemused ja analüüs

4.2.1. Täiustatud YOLOv3 võrdluskatse

Selles uuringus võrreldi ja testiti kolme täiustatud meetoditega YOLOv3 võrku, kasutades liiklusmärkide andmestikku TT100K ja sisendpilte, mille suurus oli 608 × 608 pikslit. Joonisel 11 on kujutatud TT100 andmestikul treenitud M-YOLOv3 kaart ja AR.

Erineva suurusega sihtmärkide tuvastamistulemused on näidatud joonisel 12 ja tabelis 1. Nende hulgas võttis YOLOv3-DK kasutusele strateegia, mille eesmärk on parandada kadufunktsiooni DIoU kadu ja ümberrühmitamise ankrut; YOLOv3-SPP võttis kasutusele püramiidi ühendamise struktuuri ühinemisruumi strateegia; YOLOv3-4l võtsin kasutusele neljanda ennustusfunktsioonikihi 152 × 152 skaalaga lisamise strateegia; ja M-YOLOv3 oli YOLOv3 võrgustruktuur, mis kasutas kõiki täiustatud strateegiaid.

Tabel 1 ja joonis 12 näitavad, et algse YOLOv3 keskmine keskmine täpsus ilma strateegiaid kasutamata oli 68,9%. Seevastu uuendatud YOLOv3 kaart koos kõigi meetoditega oli 77,3%, mis on tuvastamise paranemine 8,4%.

DIoU kadumise funktsioon ja ümberrühmitamise ankurdustehnika suurendasid tuvastamise täpsust 1,3% võrra; paranemine oli aga tingitud kiiremast kadufunktsiooni lähenemisest treeningu ajal, mis muutis sihtkasti regressiooni stabiilsemaks ja parandas tagasikutsumise määra. MAP märgatavamaid parandusi nähti YOLOv3-s, mis sisaldas SPP struktuuri ja saavutas 73, 2%.

SPP struktuur ühendas kohalikud ja globaalsed omadused, parandades objektikaardi võimet end väljendada ja suurendades oluliselt tuvastamise täpsust. Kasutades neljanda ennustusobjekti kihi 152 × 152 skaalaga lisamise meetodit, paranes ka theAP oluliselt.

Väikese sihtmärgi tuvastamise täpsus paranes 10,5% võrreldes YOLOv3-ga, mis kasutas väikese sihtmärgi prognoosimiseks täielikult ära võrgu madalaid funktsioone, mille tulemuseks oli märkimisväärselt parem tuvastamise efekt, kuid võrgu keerukama ja suurema töötlemise hinnaga. . Parim parendus oli M-YOLOv3, mis ühendas kolm parendusprotseduuri ja saavutas 77,3% mAP-i, mis on 8,4% kõrgem kui algse YOLOv30 keskmine keskmine täpsus. Joonisel 13 on kujutatud M-YOLOv3 testitulemused seadmel TT100K.

4.2.2. Täiustatud YOLOv3 algoritmi võrdlus teiste algoritmidega

M-YOLOv3 võrreldi mitme teise klassikalise sihtmärgi tuvastamise algoritmiga, et veelgi kinnitada täiustatud võrgu tuvastamise tuvastamist, ja tulemused on näidatud tabelis 2.

Tabel 2 näitab, et M-YOLOv3 suurim mAP oli 77,3% ja SSD-l oli parim reaalajas jõudlus, FPS-iga 42. Võrreldes algse YOLOv3 algoritmiga oli keskmine täpsuse keskmine oluliselt paranenud, kuigi reaalajas jõudlus vähenes. Võrreldes üheastmelise algoritmiga SSD, paranes mAP 12%, kuid reaalajas jõudluses oli endiselt lünk. Võrreldes kaheastmelise sihtmärgi tuvastamise algoritmiga Faster-RCNN, parandati FPS-i 22-ni ja ka mAP-i 1,7%, mis parandas tuvastamise kiirust ja ka tuvastamise täpsust. Katsed näitasid, et M-YOLOv3 toimis tuvastamise täpsuse ja kiiruse osas paremini.

4.2.3. YOLOv3 täiustatud tuvastusefekt liiklusmärkidele erikeskkonnas

Tulenevalt erinevatest teguritest, nagu tugev valguskiirgus, öine aeg ja liiklusmärkide ummistuse erikeskkond, mis mõjutavad liiklusmärkide tuvastamist ja äratundmist reaalses sõidus, oli vaja arvestada ka mudeli tuvastusefekti liiklusmärkidele erikeskkondades. Teatud asjaoludel kasutati liiklusmärkide tuvastamiseks täiustatud YOLOv3 mudelit, nagu on näidatud joonisel 13.

Joonisel 14 on YOLOv3 tuvastamisefekti võrreldud M-YOLOv3 tuvastamisefektiga spetsiaalses keskkonnas. Nagu on näidatud joonisel 14(b1,c1), ei tuvastanud YOLOv3 algoritm varjatud liiklusmärgi puhul varjatud liiklusmärki, samas kui täiustatud YOLOv3 algoritm tuvastas täpselt varjatud liiklusmärgi; nagu on näidatud joonisel 14(b2,c2), oli YOLOv3 algoritmil probleeme valetuvastusega ja liiklusmärkide tuvastamise vastamata tuvastamisega tugeva valguskiirguse keskkonnas, samas kui täiustatud YOLOv3 algoritm tundis kõik liiklusmärgid täpselt ära.

Täiustatud YOLOv3 algoritm suurendas väikeste sihtmärkide neljanda funktsiooni ennustamise skaalat, parandades väikeste sihtmärkide tuvastamise efekti, samas kui YOLOv3 algoritmil oli probleeme tuvastamata jätmise ja väikeste sihtmärkide madala usaldusväärsusega, nagu on näidatud joonisel 14(b3, c3); nõrgalt valgustatud keskkondades, näiteks öösel, tuvastas täiustatud YOLOv3 algoritm liiklusmärgid, nagu on näidatud joonisel 14(b4,c4); YOLOv3 meetod aga sihtmärke ei tuvastanud. Selle tulemusena andis värskendatud YOLOv3 algoritm teatud olukordades siiski paremaid tuvastamise tulemusi.

5. Kokkuvõtted

Selles uuringus soovitati liiklusmärkide tuvastamise ja tuvastamise võrku, mis põhineb modifitseeritud YOLOv3-l, et lahendada väikeste sihtmärkide raskusi, mida on raske tuvastada, ja madala tuvastamise täpsusega liiklusmärkide tuvastamisel ja tuvastamisel.

Uus ruumiline püramiidne koondamisstruktuur võimaldas selles uuringus ühendada kohalikud ja globaalsed funktsioonid, samuti suurendas väikeste sihtmärkide neljanda funktsiooni ennustamise skaalat, et parandada väikeste sihtmärkide tuvastamise efekti. Sihtkaadri regressiooni stabiilsemaks muutmiseks kasutati DIoU kadu, millel oli kiirem lähenemine ja mis oli sihtkaadri regressiooniga paremini kooskõlas.

Tuvastamisvõrgu täpsust parandati oluliselt, kahjustades reaalajas võrku nii vähe kui võimalik. MAP kasvas 8,4 punkti võrra. Täiendatud YOLOv3 algoritm suurendas võrgu keerukust ja vähendas tuvastamise kiirust. Reaalajas tuvastamine on aga veel kaugel; Seetõttu on järgmiseks uurimisvaldkonnaks tuvastuskiiruse suurendamine, et saavutada reaalajas tuvastamise efekt.

Autori kaastööd: Metoodika ja kirjutamine - originaalkavandi koostamine, AL ja CG; formaalne analüüs ja uurimine, YS; andmete kureerimine, NX; ressursid, AL; valideerimine, WH Kõik autorid on käsikirja avaldatud versiooni läbi lugenud ja sellega nõustunud.

Rahastamine: seda projekti toetasid Shandongi provintsi kõrghariduse noorte innovatsiooni teadus- ja tehnoloogiaprogramm (toetus nr 2019KJB019), Hiina Shandongi provintsi loodusteaduste sihtasutus (grandi nr ZR2021MF131, ZR2015EL019 ja loodusteaduste sihtasutus ZR2020ME126), Hiina (toetuse nr 61601265 ja 51505258). Seda projekti rahastas Hiina järeldoktorantuuri teadusfond (grandi nr 2021M701405), Hiina liiklustehniliste struktuuride mehaanilise käitumise ja süsteemiohutuse võtmelabori avatud projekt (grant nr 1903), Hebei liiklusohutuse ja -kontrolli avatud projekt. Hiina võtmelabor (grandi nr JTKY2019002) ja Shandongi provintsi suur teaduse ja tehnoloogia innovatsiooniprojekt (grandi nr 2022CXGC020706).

Institutsioonilise läbivaatamise nõukogu avaldus: Ei kohaldata.

Teavitatud nõusoleku avaldus: Ei kohaldata.

Andmete kättesaadavuse avaldus: Ei kohaldata.

Tänuavaldused: Täname kõiki autoreid panuse eest selle artikli kirjutamisse.

Huvide konflikt: autorid ei deklareeri huvide konflikti.

Viited

1. De la Escalera, A.; Armingol, JM; Mata, M. Intelligentsete sõidukite liiklusmärkide tuvastamine ja analüüs. Pilt Vis. Arvuta. 2003, 21, 247–258. [CrossRef]

2. Saadna, Y.; Behloul, A. Ülevaade liiklusmärkide tuvastamise ja klassifitseerimise meetoditest. Int. J. Multimed. Teave. Retr. 2017, 6193–210. [CrossRef]

3. Boumediene, M.; Cudel, C.; Basset, M.; Ouamri, A. Kolmnurksete liiklusmärkide tuvastamine RSLD algoritmi alusel. Mach. Vis. Appl.2013, 24, 1721–1732. [CrossRef]

4. Maldonado-Bascón, S.; Lafuente-Arroyo, S.; Gil-Jimenez, P.; Gomez-Moreno, H.; Lopez-Ferreras, F. Liiklusmärkide tuvastamine ja tuvastamine tugivektori masinatel. IEEE Trans. Intell. Transp. Syst. 2007, 8, 264–278. [CrossRef]

5. Bahlmann, C.; Zhu, Y.; Ramesh, V.; Pellkofer, M.; Koehler, T. Süsteem liiklusmärkide tuvastamiseks, jälgimiseks ja tuvastamiseks, kasutades värvi, kuju ja liikumisteavet. In Proceedings of IEEE Proceedings. Intelligent Vehicles Symposium, 2005, Las Vegas, NV, USA, 6.–8. juuni 2005; lk 255–260.

6. Ren, S.; Tema, K.; Girshick, R.; Sun, J. Faster R-CNN: Reaalajas objektide tuvastamise suunas regiooni ettepanekute võrgustikega.Adv. Neuraalne teave. Protsess. Syst. 2015, 28, 91–99. [CrossRef] [PubMed]

7. Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, AC SSD: ühe võttega mitme kasti detektor. Euroopa arvutinägemise konverentsil; Springer: Cham, Šveits, 2016; lk 21–37.

8. Redmon, J.; Divvala, S.; Girshick, R.; Farhadi, A. Sa vaatad ainult üks kord: ühtne, reaalajas objektituvastus. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27.–30. juuni 2016; IEEE: Piscataway, NJ, USA, 2016; lk 779–788.

9. Wang, Z.; Guo, H. Liiklusmärkide tuvastamise uurimine konvolutsioonilise närvivõrgu põhjal. In Proceedings of the 12th International Symposium on Visual Information Communication and Interaction, Shanghai, Hiina, 20.–22. september 2019; lk 1–5.

10. Han, C.; Gao, G.; Zhang, Y. Reaalajas väikeste liiklusmärkide tuvastamine muudetud kiirema RCNN-iga. Multimeedia. Tööriistad Rakendus. 2019, 78,13263–13278. [CrossRef]

11. Zhang, J.; Huang, M.; Jin, X.; Li, X. Hiina liiklusmärkide tuvastusalgoritm reaalajas, mis põhineb modifitseeritud YOLOv2-l. Algoritmid2017, 10, 127. [CrossRef]

12. Zhu, Z.; Liang, D.; Zhang, S.; Huang, X.; Li, B.; Hu, S. Liiklusmärkide tuvastamine ja klassifitseerimine looduses. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2016, Las Vegas, NV, USA, 27.–30. juuni 2016; lk 2110–2118.

For more information:1950477648nn@gmail.com