Graduate papers
  
Description of the graduate paper
Form of studies Bachelor
Title of the study programm Computer Systems
Title in original language Ziņkārības modeļa nozīme stimulētā mašīnmācībā
Title in English Importance of Curiosity Model in Reinforcement Learning
Author Māris Ancāns
Department 12300 Institute of Applied Computer Systems
Scientific advisor Ēvalds Urtāns
Reviewer LDI pētnieks A.Gaidukovs
Abstract Šajā pētījumā ir piedāvāts jauns stimulētās māšīnapmācības modelis, kas imitē ziņkārības (auto-encoder) modeli. Tika veikta modeļa testēšana un hiper-parametru pārmeklēšana, īpašību un spēja iemācīties politiku vidēs ar retiem balvas stāvokļiem. Modelis tika izstrādāts, balstoties uz jaunākajiem pētījumiem ziņkārības imitēšanā dziļajā stimulētajā māšīnapmācībā. Esošie “varavīksnes” DDQN vērtību funkcijā balstītie modeļi tika papildināti ar ziņkārības modeli un auto-kodēšanas izmantojot OpenAI Gym datorspēļu vides, kā arī salīdzinājums jau ar esošām metodēm. Tika noskaidrots, ka stimulētās mašīnapmācības modeļi ar ziņkārības modeli spēj iegūt labākus rezultātus vidēs ar retiem balvas stāvokļiem. Pievienojot ziņkārības modelim arī auto-kodēšanas modeli, pārejas stāvokļu reprezentācijas kļuva vēl aprakstošākas un varēja iegūt vēl labākus rezultātus par “varavīksnes” DDQN vērtību modeļiem. Darba pamattekstā ir 61 lappuses, 43 attēli, 5 tabulas un 55 informācijas avoti.
Keywords dziļie mākslīgie neironu tīkli, stimulētā mašīnapmācība, ziņkārības modelis, auto-kodēšanas modelis, ddqn
Keywords in English deep artificial neural networks, reinforcement learning, curiosity model, auto-encoder model, ddqn
Language lv
Year 2019
Date and time of uploading 27.05.2019 12:03:39