| Abstract |
Volfs E. D. Stimulētās mašīnmācīšanās algoritmu un izpētes stratēģiju
salīdzinošā analīze dažādas sarežģītības labirintu vidēs. Bakalaura darbs. Zinātniskais
vadītājs Mg.sc.ing. A. Stasko. Rīgas Tehniskā universitāte, Datorzinātnes, informācijas
tehnoloģijas un enerģētikas fakultāte, Lietišķo datorsistēmu institūts. Rīga, 2026.
Bakalaura darba mērķis ir veikt salīdzinošu analīzi starp Q-learning, SARSA un
Deep Q-Network (DQN) stimulētās mašīnmācīšanās algoritmiem, novērtējot ε-greedy
un Bolcmaņa izpētes stratēģiju ietekmi uz konverģences ātrumu un kumulatīvo
atlīdzību dažādas sarežģītības labirintu vidēs.
Darbā tika izpētīti stimulētās mašīnmācīšanās pamatprincipi un veikta esošo
zinātnisko pētījumu analīze, kas atklāja, ka līdzšinējos darbos nav veikts vienlaicīgs
visu trīs algoritmu un abu izpētes stratēģiju salīdzinājums dažādas sarežģītības vidēs.
Tika izstrādātas trīs fiksētas labirintu vides (7×7, 11×11, 15×15) ar pieaugošu
sarežģītību, izmantojot Python un Gymnasium bibliotēku. Eksperimentos tika testētas
18 konfigurācijas (3 algoritmi × 2 stratēģijas × 3 labirinti), katra palaista 5 reizes pa
1000 epizodēm.
Rezultāti parādīja, ka šajos konkrētajos labirintos un ar šiem hiperparametriem
tabulārie algoritmi (Q-learning un SARSA) ar ε-greedy stratēģiju uzrāda ātrāko
konverģenci, taču ne vienmēr augstāko gala atlīdzību, kur SARSA ar Bolcmaņa
stratēģiju (SR-B) sasniedza augstāko vidējo atlīdzību gan vidējā (0,731), gan
sarežģītajā (0,496) labirintā. Testētā DQN konfigurācija (divi slēptie slāņi ar 64
neironiem un divdimensiju normalizēta koordinātu ievade) sarežģītajā labirintā ar ε
greedy stratēģiju nesasniedza konverģenci, savukārt ar Bolcmaņa stratēģiju sasniedza
80% veiksmi (4 no 5 palaišanām). Tas norāda uz konkrētās DQN arhitektūras un
hiperparametru ierobežojumiem, nevis uz vispārēju neironu tīklu nepietiekamību.
Bolcmaņa stratēģija apvienojumā ar bezpolitikas algoritmiem (Q-learning, DQN)
izraisīja negatīvās atlīdzības paradoksu: aģents sasniedza mērķi, bet ar neoptimālu ceļu.
SARSA ar Bolcmaņa stratēģiju šo problēmu neizraisīja, uzrādot stabilus rezultātus
3
visos līmeņos. Balstoties uz rezultātiem, tika formulēti ieteikumi algoritmu un
stratēģiju izvēlei atkarībā no vides sarežģītības.
Darbs satur 4 nodaļas, 7 tabulas, 9 attēlus, 28 informācijas avotus. |
