Empirical Evaluation of Hyper-parameters on Convolutional Neural Network Performance

Graduate papers

Search graduate papers

Description of the graduate paper

Form of studies	Master
Title of the study programm	Computer Systems
Title in original language	Empīriska hiperparametru ietekmes novērtēšana uz konvolūcijas neironu tīklu veiktspēju
Title in English	Empirical Evaluation of Hyper-parameters on Convolutional Neural Network Performance
Department	12300 Institute of Applied Computer Systems
Scientific advisor	Egons Lavendelis
Reviewer	Katrina Boločko
Abstract	ANOTĀCIJA HIPERPARAMETRU KONVOLŪCIJAS NEIRONU TĪKLA VEIKTSPĒJAS EMPĪRISKS NOVĒRTĒJUMS Mašīnmācīšanās ir, guvusi ievērojamu progresu dažādās jomās, piemēram, datorredze (uztvere), dabiskā valodas apstrāde un runas atpazīšana, tā ir ietekmējusi daudzas mūsu dzīves jomas. Neironu tīkli ir mašīnmācīšanās nozare, kurai par piemēru kalpo cilvēka smadzeņu darbība, kas sniedz iespēju datoru pašmācības attīstīšanai. Konvolūcijas neironu tīkls ir neironu tīklu apakštips. Tas ir uzrādījis lieliskus rezultātus datoru uztverē, jo īpaši attēlu klasifikācijā un objektu noteikšanā. CNN ir divu veidu parametri, kas nosaka CNN arhitektūru un mācīšanās uzvedību, t. i., CNN veiktspēja. Šo hiperparametru optimālo vērtību atrašana prasa ne tikai augstu ekspertīzi (pieredzi un prasmes), bet arī daudz laika. Tāpēc ir veikti vairāki pētījumi, lai atrastu labākās CNN hiperparametru vērtības. Turklāt, zinot optimālās hiperparametru vērtības un saistību starp šīm vērtībām un svarīgākajiem hiperparametriem, ar mazāku piepūli iespējams sasniegt labāku veiktspēju. Šajā pētījumā dažādas mācīšanās hiperparametru vērtības tika eksperimentāli novērtētas individuāli un kombinācijās, lai atrastu visefektīvākos hiperparametrus un labāko šo hiperparametru kombināciju. Izpētes procesā tika veikti 84 eksperimenti ar diviem CNN, AlexNet un VGG-16, izmantojot vienu no visbiežāk izmantotajām datu kopām attēlu klasifikācijā. Rezultāti parādīja pašmācības (apmācības) līmeņa lielo ietekmi un spēcīgu korelāciju starp to un izvēles lielumu. Arī citu hiperparametru ietekme uz tīkla veiktspēju bija līdzīga. Tika izstrādātas pamatnostādnes par labāko praksi hiperparametru atlasē. Darbs satur 105 lappuses, 55 attēlus (neieskaitot pielikumus), 15 tabulas, 68 atsauces un 2 pielikumus.
Keywords	Machine learning; Convolutional Neural Network ; Hyperparameters
Keywords in English	Machine learning; Convolutional Neural Network ; Hyperparameters
Language	eng
Year	2021
Date and time of uploading	01.06.2021 12:05:03