| Abstract |
Mūsdienās arvien biežāk dažādiem nolūkiem gan ikdienā, gan informācijas
tehnoloģiju risinājumos tiek izmantoti lielo valodas modeļi (LVM), kuru nozare arvien
straujāk attīstās, tādējādi aktualizējot jautājumu par šo modeļu uzticamību. Bakalaura
darba mērķis ir izpētīt iepriekšminēto modeļu uzticamības problēmu, kā arī analizēt
un izvērtēt testēšanas rīku, kas paredzēti to novērtēšanai un pielietojamību.Izstrādātā
darba ietvaros tika analizēti LVM darbības pamatprincipi, kā arī uzticamības jēdziens
šajā kontekstā. Tāpat tika aplūkotas modeļu testēšanā izmantotās pieejas un metodes,
padziļināti pētot testēšanas rīku ietvarus (angļu val. frameworks), kas izveidoti
uzvedības un sniegto atbilžu kvalitātes novērtēšanai, vienlaikus izvērtējot to
funkcionalitāti, ierobežojumus un priekšrocības. Darba praktiskajā daļā tika veikta
lielo valodas modeļu testēšana ar rīku ietvariem, precīzāk, Promptfoo, DeepEval,
LangTest un Garak, kur iegūtie rezultāti parādīja, ka neviens modelis nav dominējošs
visās uzticamības metrikās, no kā izriet darba noslēguma secinājums: ka uzticamība ir
visaptverošs jēdziens, kura objektīvākai izvērtēšanai nepieciešama sistemātiska,
atkārtojama un plaši apvienota testēšanas pieeja. Darbs satur: 68 lappuses, 15 attēlus, 20 tabulas, 7 pielikumus un 94 izmantotos
informācijas avotus. |
