10 artiklar som du bör läsa för att förstå bildklassificering i Deep Learning-eran

Datorseende är ett ämne för att omvandla bilder och videor till maskin-förståeliga signaler. Med dessa signaler kan programmerare vidare styra maskinens beteende baserat på denna förståelse på hög nivå. Bland många datorseendeuppgifter är bildklassificering en av de mest grundläggande uppgifterna. Den kan inte bara användas i många verkliga produkter som Google Photos taggning och AI-innehållsmoderering, utan öppnar också en dörr för många mer avancerade visionsuppgifter, t.ex. objektsdetektering och videoförståelse. På grund av de snabba förändringarna på detta område sedan Deep Learning fick sitt genombrott tycker nybörjare ofta att det är för överväldigande att lära sig det. Till skillnad från typiska programvaruteknikämnen finns det inte många bra böcker om bildklassificering med hjälp av DCNN, och det bästa sättet att förstå detta område är att läsa akademiska artiklar. Men vilka artiklar ska man läsa? Var ska jag börja? I den här artikeln kommer jag att presentera 10 bästa artiklar för nybörjare att läsa. Med dessa artiklar kan vi se hur detta område utvecklas och hur forskarna har tagit fram nya idéer baserat på tidigare forskningsresultat. Trots detta är det fortfarande till hjälp för dig att reda ut den stora bilden även om du redan har arbetat inom detta område ett tag. Låt oss börja.

1998: LeNet

Gradientbaserad inlärning tillämpad på dokumentigenkänning

Introducerat 1998, LeNet lägger grunden för framtida forskning om bildklassificering med hjälp av det neurala konvolutionsnätverket. Många klassiska CNN-tekniker, t.ex. pooling lager, fullt anslutna lager, utfyllnad och aktiveringslager, används för att extrahera egenskaper och göra en klassificering. Med en förlustfunktion för medelkvadratfel och 20 träningstillfällen kan detta nätverk uppnå en noggrannhet på 99,05 % i MNIST-testuppsättningen. Även efter 20 år följer många av de senaste klassificeringsnätverken fortfarande detta mönster i allmänhet.

2012: AlexNet

ImageNet Classification with Deep Convolutional Neural Networks

Och även om LeNet uppnådde ett bra resultat och visade CNN:s potential, men utvecklingen på detta område stagnerade under ett decennium på grund av begränsad datorkraft och datamängd. Det såg ut som om CNN bara kan lösa vissa enkla uppgifter som t.ex. sifferigenkänning, men för mer komplexa funktioner som ansikten och objekt var en HarrCascade- eller SIFT-funktionsextraktor med en SVM-klassificerare ett mer föredraget tillvägagångssätt.

Hursomhelst, i 2012 ImageNet Large Scale Visual Recognition Challenge, föreslog Alex Krizhevsky en CNN-baserad lösning för den här utmaningen och ökade drastiskt ImageNet-testuppsättningens topp-5-noggrannhet från 73,8 % till 84,7 %. Deras tillvägagångssätt ärver CNN-idén med flera lager från LeNet, men ökar CNN:s storlek avsevärt. Som du kan se i diagrammet ovan är ingången nu 224×224 jämfört med LeNets 32×32, och många konvolutionskärnor har 192 kanaler jämfört med LeNets 6. Även om konstruktionen inte förändras särskilt mycket, med hundratals fler gånger av parametrar, förbättrades nätverkets förmåga att fånga och representera komplexa egenskaper också hundratals gånger. För att träna en så stor modell använde Alex två GTX 580 GPU:er med 3 GB RAM för var och en, vilket var banbrytande för en trend med GPU-träning. Användningen av ReLU:s icke-linjäritet bidrog också till att minska beräkningskostnaden.

Förutom att ge nätverket många fler parametrar utforskade man också problemet med överanpassning som ett större nätverk medför genom att använda ett Dropout-skikt. Dess metod Local Response Normalization fick inte alltför stor popularitet efteråt men inspirerade andra viktiga normaliseringstekniker som BatchNorm för att bekämpa problemet med gradientmättnad. Sammanfattningsvis definierade AlexNet de facto ramverket för klassificeringsnätverk för de kommande tio åren: en kombination av konvolution, ReLu icke-linjär aktivering, MaxPooling och täta lager.

2014: VGG

Very Deep Convolutional Networks for Large-Scale Image Recognition

Med så stora framgångar med att använda CNN för visuellt erkännande, …exploderade hela forskarsamhället och alla började undersöka varför detta neurala nätverk fungerar så bra. I ”Visualizing and Understanding Convolutional Networks” från 2013 diskuterade Matthew Zeiler till exempel hur CNN plockar upp funktioner och visualiserade de mellanliggande representationerna. Och plötsligt började alla inse att CNN är framtiden för datorseende sedan 2014. Bland alla dessa omedelbara efterföljare är VGG-nätverket från Visual Geometry Group det mest iögonfallande. Det fick ett anmärkningsvärt resultat på 93,2 % topp-5 noggrannhet och 76,3 % topp-1 noggrannhet på ImageNet-testuppsättningen.

Följande AlexNets design har VGG-nätverket två stora uppdateringar: 1) VGG använde inte bara ett bredare nätverk som AlexNet utan också djupare. VGG-19 har 19 konvolutionslager, jämfört med 5 från AlexNet. 2) VGG visade också att några små 3×3 konvolutionsfilter kan ersätta ett enda 7×7- eller till och med 11×11-filter från AlexNet, vilket ger bättre prestanda samtidigt som beräkningskostnaden minskar. På grund av denna eleganta utformning blev VGG också det bakre nätverket för många banbrytande nätverk inom andra datorseende uppgifter, t.ex. FCN för semantisk segmentering och Faster R-CNN för objektsdetektering.

Med ett djupare nätverk blir gradientförsvinnande från back-propagation i flera lager ett större problem. För att hantera detta diskuterade VGG också vikten av förträning och viktinitialisering. Detta problem begränsar forskarna till att fortsätta att lägga till fler lager, annars kommer nätverket att bli riktigt svårt att konvergera. Men vi kommer att se en bättre lösning för detta efter två år.

2014: GoogLeNet

Going Deeper with Convolutions

VGG har en snygg och lättförståelig struktur, men dess prestanda är inte den bästa bland alla finalister i ImageNet 2014-tävlingarna. GoogLeNet, alias InceptionV1, vann det slutliga priset. Precis som VGG är ett av de viktigaste bidragen från GoogLeNet att tänja på gränsen för nätverksdjupet med en struktur med 22 lager. Detta visade återigen att det verkligen är rätt väg att gå djupare och bredare för att förbättra noggrannheten.

I motsats till VGG försökte GoogLeNet ta itu med problemen med beräkning och gradientförminskning direkt, i stället för att föreslå en lösning med bättre förtränade scheman och initialisering av vikter.

Först utforskade man idén om asymmetrisk nätverksdesign med hjälp av en modul kallad Inception (se diagrammet ovan). I idealfallet skulle de vilja använda sparsam konvolution eller täta lager för att förbättra funktionseffektiviteten, men modern hårdvarudesign var inte anpassad för detta fall. Så de trodde att en gleshet på nätverkstopologinivå också skulle kunna hjälpa till med fusionen av funktioner samtidigt som man utnyttjar befintlig hårdvarukapacitet.

För det andra angriper man problemet med höga beräkningskostnader genom att låna en idé från en artikel som heter ”Network in Network”. I grund och botten införs ett 1×1-faltningsfilter för att minska dimensionerna på funktionerna innan man går igenom tunga beräkningsoperationer som en 5×5-faltningskärna. Denna struktur kallas senare ”Bottleneck” och används allmänt i många följande nätverk. I likhet med ”Network in Network” användes också ett genomsnittligt poolinglager för att ersätta det sista fullt anslutna lagret för att ytterligare minska kostnaderna.

För det tredje, för att hjälpa gradienterna att flöda till djupare lager, använde GoogLeNet också övervakning av vissa mellanliggande lagers utdata eller extra utdata. Denna design är inte helt populär senare i bildklassificeringsnätverket på grund av komplexiteten, men blir mer populär inom andra områden av datorseende, t.ex. timglasnätverket i poseuppskattning.

Som uppföljning skrev detta Google-team fler artiklar för denna Inception-serie. ”Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift” står för InceptionV2. ”Rethinking the Inception Architecture for Computer Vision” från 2015 står för InceptionV3. Och ”Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning” från 2015 står för InceptionV4. Varje artikel har lagt till fler förbättringar jämfört med det ursprungliga Inception-nätverket och uppnått ett bättre resultat.

2015: Batch Normalization

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Inception-nätverket hjälpte forskarna att nå en övermänsklig noggrannhet på ImageNet-dataset. Som en statistisk inlärningsmetod är CNN dock mycket begränsad till den statistiska karaktären hos en specifik träningsdatamängd. För att uppnå bättre noggrannhet måste vi därför vanligtvis i förväg beräkna medelvärdet och standardavvikelsen för hela datasetet och använda dem för att först normalisera vår inmatning för att se till att de flesta av skiktens inmatningar i nätverket ligger nära varandra, vilket leder till bättre aktiveringsreaktivitet. Detta ungefärliga tillvägagångssätt är mycket besvärligt och fungerar ibland inte alls för en ny nätverksstruktur eller en ny datamängd, vilket gör att djupinlärningsmodellen fortfarande betraktas som svår att träna. För att lösa detta problem beslutade Sergey Ioffe och Chritian Szegedy, killen som skapade GoogLeNet, att uppfinna något smartare som kallas Batch Normalization.

Idén om normalisering av partier är inte svår: Vi kan använda statistiken för en serie minibatcher för att närma oss statistiken för hela datasetet, så länge vi tränar tillräckligt länge. Istället för att manuellt beräkna statistiken kan vi också införa två mer inlärningsbara parametrar ”scale” och ”shift” för att låta nätverket lära sig hur varje lager ska normaliseras av sig självt.

Det ovanstående diagrammet visade processen för att beräkna värden för batch-normalisering. Som vi kan se tar vi medelvärdet för hela minibatchen och beräknar även variansen. Därefter kan vi normalisera inmatningen med detta minibatchmedelvärde och denna varians. Slutligen, med en skal- och en förskjutningsparameter, lär sig nätverket att anpassa det normaliserade resultatet för satserna så att det bäst passar de följande lagren, vanligtvis ReLU. En invändning är att vi inte har information om minibatcher under inferensen, så en lösning är att beräkna ett glidande medelvärde och en varians under träningen och sedan använda dessa glidande medelvärden i inferensen. Den här lilla innovationen har så stor betydelse och alla senare nätverk börjar använda den direkt.

2015: ResNet

Deep Residual Learning for Image Recognition

2015 kan vara det bästa året för datorseende på ett decennium. Vi har sett så många bra idéer dyka upp, inte bara inom bildklassificering, utan även inom alla typer av datorseende uppgifter, t.ex. objektsökning, semantisk segmentering osv. Det största framsteget under 2015 är ett nytt nätverk som kallas ResNet, eller residual networks, och som föreslagits av en grupp kinesiska forskare från Microsoft Research Asia.

Som vi diskuterade tidigare för VGG-nätverk är det största hindret för att bli ännu djupare gradientförsvinnande problemet, dvs.Det vill säga att derivaten blir mindre och mindre när de återfördelas genom djupare lager, och till slut når en punkt som modern datorarkitektur inte riktigt kan representera på ett meningsfullt sätt. GoogLeNet försökte angripa detta genom att använda extra övervakning och en asymmetrisk inceptionsmodul, men det lindrar bara problemet i liten utsträckning. Om vi vill använda 50 eller till och med 100 lager, kommer det då att finnas ett bättre sätt för gradienten att flöda genom nätverket? Svaret från ResNet är att använda en restmodul.

ResNet lade till en identitetsförkortning till utgången, så att varje residualmodul åtminstone kan förutsäga vad som än är inmatningen, utan att gå vilse. Ännu viktigare är att i stället för att hoppas att varje lager ska passa direkt till den önskade funktionsmappningen försöker restmodulen lära sig skillnaden mellan utgång och ingång, vilket gör uppgiften mycket enklare eftersom den informationsvinst som behövs är mindre. Föreställ dig att du lär dig matematik, för varje nytt problem får du en lösning på ett liknande problem, så allt du behöver göra är att utöka denna lösning och försöka få den att fungera. Detta är mycket lättare än att tänka ut en helt ny lösning för varje problem du stöter på. Eller som Newton sa, vi kan stå på jättars axlar, och identitetsinmatningen är den jätten för residualmodulen.

Förutom identitetsmappning har ResNet också lånat flaskhalsen och Batch Normalization från Inception-nätverken. Till slut lyckades man bygga ett nätverk med 152 konvolutionslager och uppnådde 80,72 % topp-1 noggrannhet på ImageNet. Restmetoden blir också ett standardalternativ för många andra nätverk senare, t.ex. Xception, Darknet osv. Tack vare sin enkla och vackra utformning används det fortfarande i stor utsträckning i många produktionssystem för visuell igenkänning nuförtiden.

Det finns många fler invarianter som kom fram genom att följa hypen kring residualnätverket. I ”Identity Mappings in Deep Residual Networks” försökte den ursprungliga författaren till ResNet att sätta aktivering före residualmodulen och uppnådde ett bättre resultat, och denna design kallas ResNetV2 efteråt. I en artikel från 2016, ”Aggregated Residual Transformations for Deep Neural Networks”, föreslog forskarna också ResNeXt som lade till parallella grenar för residualmoduler för att aggregera utdata från olika transformationer.

2016: Xception

Xception: Djupinlärning med djupgående separerbara konvolutioner

Med lanseringen av ResNet såg det ut som om de flesta av de lågt hängande frukterna inom bildklassificering redan hade tagits. Forskare började fundera på vad som är den interna mekanismen bakom CNN:s magi. Eftersom tvärgående konvolution vanligtvis introducerar ett ton parametrar, valde Xception-nätverket att undersöka denna operation för att förstå en fullständig bild av dess effekt.

Som sitt namn har Xception sitt ursprung i Inception-nätverket. I Inception-modulen aggregeras flera grenar av olika transformationer för att uppnå en topologisk gleshet. Men varför fungerade denna gleshet? Författaren till Xception, som också är författare till ramverket Keras, utvidgade den här idén till ett extremfall där en 3×3-faltningsfil motsvarar en utmatningskanal före en slutlig sammanlänkning. I det här fallet bildar dessa parallella konvolutionskärnor faktiskt en ny operation som kallas djupgående konvolution.

Som visas i diagrammet ovan, Till skillnad från traditionell konvolution där alla kanaler ingår i en beräkning, beräknar den djupgående konvolutionen endast konvolutionen för varje kanal separat och sammanfogar sedan resultatet tillsammans. Detta minskar funktionsutbytet mellan kanalerna, men minskar också många anslutningar, vilket resulterar i ett lager med färre parametrar. Denna operation kommer dock att ge ut samma antal kanaler som ingången (eller ett mindre antal kanaler om du grupperar två eller flera kanaler tillsammans). När kanalutgångarna väl är sammanslagna behöver vi därför ytterligare ett vanligt 1×1-filter, eller en punktvis konvolution, för att öka eller minska antalet kanaler, precis som vanlig konvolution gör.

Den här idén kommer inte ursprungligen från Xception. Den beskrivs i en artikel som heter ”Learning visual representations at scale” och används också ibland i InceptionV2. Xception tog ett steg längre och ersatte nästan alla konvolutioner med denna nya typ. Och experimentresultatet visade sig vara ganska bra. Den överträffar ResNet och InceptionV3 och blev en ny SOTA-metod för bildklassificering. Detta bevisade också att kartläggningen av korrelationer över kanalgränserna och rumsliga korrelationer i CNN kan frikopplas helt och hållet. Dessutom har Xception, som delar samma dygd som ResNet, också en enkel och vacker design, så dess idé används i många andra efterföljande undersökningar som MobileNet, DeepLabV3 osv.

2017: Xception uppnådde 79 % topp-1 noggrannhet och 94,5 % topp-5 noggrannhet på ImageNet, men det är bara 0,8 % respektive 0,4 % förbättring jämfört med föregående SOTA InceptionV3. Den marginella vinsten av ett nytt bildklassificeringsnätverk blir allt mindre, så forskarna börjar flytta sitt fokus till andra områden. MobileNet ledde en betydande satsning på bildklassificering i en resursbegränsad miljö.

I likhet med Xception använde MobileNet samma djupgående separerbara konvolutionsmodul som visas ovan och hade en betoning på hög effektivitet och färre parametrar.

Täljaren i formeln ovan är det totala antalet parametrar som krävs för en djupgående separerbar konvolution. Och nämnaren är det totala antalet parametrar för en liknande vanlig konvolution. Här är D storleken på konvolutionskärnan, D är storleken på funktionskartan, M är antalet inmatningskanaler, N är antalet utmatningskanaler. Eftersom vi har separerat beräkningen av kanal och rumslig funktion kan vi omvandla multiplikationen till en addition, vilket är en storleksordning mindre. Ännu bättre, som vi kan se av detta förhållande, är att ju större antalet utmatningskanaler är, desto mer beräkning sparar vi genom att använda denna nya konvolution.

Ett annat bidrag från MobileNet är bredd- och upplösningsmultiplikatorn. MobileNet-teamet ville hitta ett kanoniskt sätt att krympa modellstorleken för mobila enheter, och det mest intuitiva sättet är att minska antalet in- och utmatningskanaler samt inmatningsbildens upplösning. För att styra detta beteende multipliceras ett förhållande alfa med kanalerna och ett förhållande rho med inmatningsupplösningen (vilket också påverkar funktionskartans storlek). Så det totala antalet parametrar kan representeras i följande formel:

Den här ändringen verkar naiv när det gäller innovation, men den har ett stort tekniskt värde eftersom det är första gången som forskare avslutar ett kanoniskt tillvägagångssätt för att justera nätverket för olika resursbegränsningar. Dessutom sammanfattade den på sätt och vis den ultimata lösningen för att förbättra neurala nätverk: bredare och högupplöst indata leder till bättre noggrannhet, tunnare och lågupplöst indata leder till sämre noggrannhet.

Senare under 2018 och 2019 släppte MobiletNet-teamet också ”MobileNetV2: Inverted Residuals and Linear Bottlenecks” och ”Searching for MobileNetV3”. I MobileNetV2 används en flaskhalsstruktur med inverterade rester. I MobileNetV3 började man söka efter den optimala arkitekturkombinationen med hjälp av tekniken Neural Architecture Search, som vi kommer att ta upp härnäst.

2017: NASNet

Learning Transferable Architectures for Scalable Image Recognition

Som bildklassificering för en resursbegränsad miljö är neuronal arkitektursökning ett annat område som uppstod runt 2017. Med ResNet, Inception och Xception verkar det som om vi nått en optimal nätverkstopologi som människor kan förstå och utforma, men tänk om det finns en bättre och mycket mer komplex kombination som vida överstiger den mänskliga fantasin? I en artikel från 2016 kallad ”Neural Architecture Search with Reinforcement Learning” föreslogs en idé om att söka den optimala kombinationen inom ett fördefinierat sökutrymme med hjälp av förstärkningsinlärning. Som vi vet är förstärkningsinlärning en metod för att hitta den bästa lösningen med ett tydligt mål och en tydlig belöning för sökagenten. Eftersom den här artikeln är begränsad av datorkraften diskuterades dock endast tillämpningen i ett litet CIFAR-dataset.

Med målet att hitta en optimal struktur för en stor datamängd som ImageNet skapade NASNet ett sökutrymme som är skräddarsytt för ImageNet. Man hoppas kunna utforma ett särskilt sökutrymme så att det sökresultat som söks på CIFAR också kan fungera bra på ImageNet. För det första utgår NASNet från att vanliga handgjorda moduler i bra nätverk som ResNet och Xception fortfarande är användbara vid sökning. Så i stället för att söka efter slumpmässiga anslutningar och operationer söker NASNet efter kombinationen av dessa moduler som redan har visat sig vara användbara i ImageNet. För det andra utförs den faktiska sökningen fortfarande på CIFAR-dataset med 32×32-upplösning, så NASNet söker endast efter moduler som inte påverkas av ingångsstorleken. För att få den andra punkten att fungera har NASNet fördefinierat två typer av modulmallar: Reduktion och Normal. En reduktionscell skulle kunna ha en reducerad funktionskarta jämfört med indata, och för en normal cell skulle den vara densamma.

Och även om NASNet har bättre mätvärden än manuellt utformade nätverk, lider det också av några nackdelar. Kostnaden för att söka efter en optimal struktur är mycket hög, vilket endast stora företag som Google och Facebook har råd med. Dessutom är den slutliga strukturen inte alltför meningsfull för människor, och därmed svårare att underhålla och förbättra i en produktionsmiljö. Senare under 2018 kommer ”MnasNet: Platform-Aware Neural Architecture Search for Mobile” utökar denna NASNet-idé ytterligare genom att begränsa söksteget med en fördefinierad kedjeblockstruktur. Genom att definiera en viktfaktor gav mNASNet också ett mer systematiskt sätt att söka efter en modell med specifika resursbegränsningar, i stället för att bara utvärdera baserat på FLOPs.

2019: EfficientNet

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Under 2019 ser det ut som om det inte längre finns några spännande idéer för övervakad bildklassificering med CNN. En drastisk förändring av nätverksstrukturen ger oftast bara en liten förbättring av noggrannheten. Ännu värre är att när samma nätverk tillämpas på olika dataset och uppgifter verkar tidigare hävdade knep inte fungera, vilket ledde till kritik om huruvida dessa förbättringar bara är överanpassning på ImageNet-dataset. Å andra sidan finns det ett knep som aldrig misslyckas med våra förväntningar: att använda en högre inmatningsupplösning, lägga till fler kanaler för konvolutionslagren och lägga till fler lager. Även om det är en mycket brutal kraft verkar det som om det finns ett principiellt sätt att skala nätverket på begäran. MobileNetV1 föreslog på sätt och vis detta 2017, men fokus flyttades senare till en bättre nätverksdesign.

Efter NASNet och mNASNet insåg forskarna att även med hjälp av en dator ger en ändring av arkitekturen inte så stora fördelar. Så de börjar falla tillbaka på skalning av nätverket. EfficientNet bygger bara på detta antagande. Å ena sidan används den optimala byggstenen från mNASNet för att säkerställa en bra grund att börja med. Å andra sidan definieras tre parametrar alfa, beta och rho för att styra nätets djup, bredd och upplösning på motsvarande sätt. På så sätt kan ingenjörerna, även om de inte har en stor GPU-pool för att söka efter en optimal struktur, fortfarande förlita sig på dessa principiella parametrar för att ställa in nätverket utifrån sina olika krav. I slutändan gav EfficientNet åtta olika varianter med olika bredd-, djup- och upplösningsförhållanden och fick bra prestanda för både små och stora modeller. Med andra ord, om du vill ha hög noggrannhet ska du satsa på EfficientNet-B7 med 600×600 och 66M parametrar. Om du vill ha låg latenstid och en mindre modell ska du välja EfficientNet-B0 med 224×224 och 5,3 3M parametrar. Problemet är löst.

Om du läser färdigt ovanstående 10 artiklar bör du ha ett ganska bra grepp om historien om bildklassificering med CNN. Om du vill fortsätta att lära dig detta område har jag också listat några andra intressanta artiklar att läsa. Även om de inte ingår i topp-10-listan är alla dessa artiklar kända inom sitt eget område och har inspirerat många andra forskare i världen.

2014: SPPNet

Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

SPPNet lånar idén om funktionspyramider från traditionell utvinning av funktioner för datorseende. Denna pyramid bildar en påse med ord av funktioner med olika skalor, vilket gör att den kan anpassa sig till olika inmatningsstorlekar och göra sig av med det fullt sammankopplade lagret med fast storlek. Den här idén har också inspirerat ASPP-modulen i DeepLab och FPN för objektdetektering.

2016: DenseNet

Densely Connected Convolutional Networks

DenseNet från Cornell utvidgar idén från ResNet ytterligare. Det ger inte bara hoppförbindelser mellan lagren utan har också hoppförbindelser från alla tidigare lager.

2017: SENet

Squeeze-and-Excitation Networks

Nätverket Xception visade att korrelation mellan kanaler inte har så mycket att göra med rumslig korrelation. Som mästare i den senaste ImageNet-tävlingen utformade SENet dock ett Squeeze-and-Excitation-nätverk och berättade en annan historia. SE-blocket pressar först alla kanaler till färre kanaler med hjälp av global pooling, tillämpar en fullt ansluten transformation och ”exciterar” dem sedan tillbaka till det ursprungliga antalet kanaler med hjälp av ett annat fullt anslutet lager. Så i huvudsak hjälpte FC-skiktet nätverket att lära sig uppmärksamhet på den ingående funktionskartan.

2017: ShuffleNet

ShuffleNet: Ett extremt effektivt konvolutionellt neuralt nätverk för mobila enheter

ShuffleNet bygger på MobileNetV2:s inverterade flaskhalsmodul och anser att punktvis konvolution i djupvis separerbar konvolution offrar noggrannhet i utbyte mot mindre beräkning. För att kompensera för detta har ShuffleNet lagt till ytterligare en kanalomvandlingsoperation för att se till att punktvis konvolution inte alltid tillämpas på samma ”punkt”. Och i ShuffleNetV2 utökas denna mekanism för kanalomblandning ytterligare till en ResNet-identitetsmappningsgren också, så att en del av identitetsfunktionen också kommer att användas för omblandning.

2018: Bag of Tricks

Bag of Tricks for Image Classification with Convolutional Neural Networks

Bag of Tricks fokuserar på vanliga trick som används inom bildklassificering. Den fungerar som en bra referens för ingenjörer när de behöver förbättra benchmarkprestanda. Intressant nog kan dessa knep, t.ex. mixup augmentation och cosine learning rate, ibland ge mycket bättre förbättringar än en ny nätverksarkitektur.

Slutsats

Med lanseringen av EfficientNet ser det ut som om ImageNet-klassificeringsbenchmark kommer till ett slut. Med den befintliga metoden för djupinlärning kommer det aldrig att komma en dag då vi kan nå 99,999 % noggrannhet på ImageNet om inte ett annat paradigmskifte sker. Därför tittar forskarna aktivt på nya områden, t.ex. självövervakad eller halvövervakad inlärning för storskalig visuell igenkänning. Under tiden, med de befintliga metoderna, blev det mer en fråga för ingenjörer och entreprenörer att hitta en verklig tillämpning av denna icke-perfekta teknik. I framtiden kommer jag också att skriva en undersökning för att analysera dessa verkliga datorseendetillämpningar som drivs av bildklassificering, så håll ögonen öppna! Om du tycker att det finns andra viktiga artiklar att läsa för bildklassificering, lämna en kommentar nedan och låt oss veta.

Originally published at http://yanjia.li on July 31, 2020

• Y. Lecun, L. Bottou, Y. Bengio, P. Haffner, Gradient-based Learning Applied to Document Recognition
• Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks
• Karen Simonyan, Andrew Zisserman, Very Deep Convolutional Networks for Large-Scale Image Recognition
• Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, Going Deeper with Convolutions
• Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
• Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition
• François Chollet, Xception: Deep Learning with Depthwise Separable Convolutions
• Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Application
• Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, Learning Transferable Architectures for Scalable Image Recognition
• Mingxing Tan, Quoc V. Le, EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
• Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
• Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger, Densely Connected Convolutional Networks
• Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu, Squeeze-and-Excitation Networks
• Xiangyu Zhang, Xinyu Zhou, Mengxiao Lin, Jian Sun, ShuffleNet: Ett extremt effektivt konvolutionellt neuralt nätverk för mobila enheter
• Tong He, Zhi Zhang, Hang Zhang, Zhongyue Zhang, Junyuan Xie, Mu Li, Bag of Tricks for Image Classification with Convolutional Neural Networks