| Abstract |
STIMULĒTĀS MAŠĪNMĀCĪŠANĀS REALIZĀCIJA DAUDZAĢENTU SISTĒMĀ
Atslēgvārdi: daudzaģentu stimulētā mašīnmācīšanās, MAPPO, daļēji novērojama vide, komunikācija, koordinēta sadarbība.
Maģistra darba mērķis ir izstrādāt stimulētās mašīnmācīšanās metodi, kas efektīvi darbotos daudzaģentu sistēmā, lai uzlabotu aģentu savstarpējo sadarbību, komunikāciju un kopējo sistēmas veiktspēju, ņemot vērā mainīgu un neparedzamu vidi. Daudzaģentu sistēmās efektīva sadarbība un informācijas apmaiņa ir būtiska, jo katram aģentam pieejama tikai ierobežota informācija par apkārtējo vidi.
Darba ideja tiek balstīta uz autonomo piegādes robotu scenāriju, kur robotiem nepieciešams identificēt jaunus šķēršļus, apstrādāt sensoru datus un savstarpēji komunicēt par apkārtējās vides izmaiņām. Darba izstrādes gaitā tiek secināts, ka pilnvērtīga sensoru sistēmu un ROS infrastruktūras realizācija veido atsevišķu plašu pētījuma virzienu, tādēļ darba praktiskā realizācija tiek veikta 2D režģa vidē, saglabājot sasaisti ar sākotnējo robotu scenāriju.
Darbā tiek analizēti stimulētās mašīnmācīšanās algoritmi, daudzaģentu sistēmu risinājumi un imitācijas vides. Tiek izvēlēts MAPPO algoritms, kas realizē centralizētas apmācības ar decentralizētu izpildi pieeju, kā arī Xuance ietvars algoritma realizācijai. Tiek izstrādāta daļēji novērojama vide ar komunikācijas mehānismiem, definēta novērojumu telpa, balvas funkcija un darbību mehānismi, kā arī veikta aģentu apmācība un novērtēšana.
Eksperimentu rezultāti parāda, ka sākotnējā apmācība ir nestabila, taču, ieviešot pakāpeniskas sarežģītības apmācību un darbību maskēšanu, aģenti spēj apgūt koordinētu sadarbību. Tiek salīdzināti eksperimenti ar un bez aģentu komunikācijas, un tiek secināts, ka sarežģītākās daļēji novērojamās vidēs komunikācija uzlabo sistēmas veiktspēju. Rezultāti apliecina, ka komunikācijas lietderība ir cieši saistīta ar uzdevuma sarežģītību un informācijas asimetriju.
Maģistra darbā ir 79 lappuses, 8 attēli, 17 tabulas, 2 pielikumi, 67 izmantotie informācijas avoti. |
