| Studiju veids |
bakalaura akadēmiskās studijas |
| Studiju programmas nosaukums |
Informācijas tehnoloģija |
| Nosaukums |
Lokāli darbināmo lielo valodu modeļu apskats |
| Nosaukums angļu valodā |
A Review of Locally Runnable Large Language Models |
| Struktūrvienība |
33000 Datorzinātnes, informācijas tehnoloģijas un enerģētikas fakultāte |
| Darba vadītājs |
Henrihs Gorskis |
| Recenzents |
Artūrs Braučs |
| Anotācija |
Strauji attīstošie lielu valodu modeļi (LVM) ne tikai sniedz jaunas iespējas teksta prognozēšanā, apstrādē un ģenerēšanā, bet arī rada aizdomas par datu privātumu, jo lielākā daļa LVM ir balstīti mākonī. Tāpēc radās pieprasījums pēc lokālas LVM izmantošanas, saglabājot gan modeļu veiktspēju, gan datu konfidencialitāti. Lokāla LVM izmantošana dod iespēju veikt to apmācību uz specifiskām datu kopām, kas pieder lietotājam vai organizācijai, tādējādi uzlabojot modeļa veiktspējas precizitāti, kā arī nodrošinot tā pielāgošanu konkrētām vajadzībām. Pētījuma mērķis ir salīdzināt un novērtēt lokāli darbināmos LVM un to pielietojumus. Lai sasniegtu mērķi, tika veikti divu klašu eksperimenti: videokaršu specifikāciju izpēte un modeļu apmācības iespēju novērtējums dabiskās valodas apstrādes uzdevumos - vēstuļu klasifikācijā un sarunas kopsavilkumu veidošanā. Eksperimentiem tika izvēlēti trīs modeļi – Mistral ar 7 miljardu parametriem, Phi-2 ar 2.7 miljardu parametriem un TinyLLaMA ar 1.1 miljardu parametru. Tika novērtēti lokālo LVM izmantošanas resursu ierobežojumi. Mistral modelis ir piemērots uzdevumiem, kuriem ir nepieciešama lielāka precizitāte un ir pieejami vismaz 12 GB videokartes atmiņas ar CUDA atbalstu, TinyLLaMA modelis ir lietojams uzdevumiem ar ierobežotiem skaitļošanas resursiem, piemēram, videokartēm ar 4 GB CUDA atmiņu. Noskaidrots, ka mazākie modeļi, izmantojot precīzo ieregulēšanu, sasniedz konkurētspējīgu veiktspēju ar mazāku apmācības laiku un skaitļošanas resursu patēriņu. Darbs sniedz praktisku ieguldījumu, piedāvājot instrukciju lokālo LVM izmantošanai, kas dod iespēju saglabāt datu privātumu un pielāgot modeļus specifiskiem uzdevumiem.
Dati par darba apjomu – 58 lappušu, 17 attēlu, 9 tabulu, 2 pielikumu un 38 izmantoto informācijas avotu skaits. |
| Atslēgas vārdi |
lokālie lielie valodu modeļi, datu privātums, dabiskās valodas apstrāde, lokālā apmācība |
| Atslēgas vārdi angļu valodā |
local large language models, data privacy, natural language processing, local training |
| Valoda |
lv |
| Gads |
2025 |
| Darba augšupielādes datums un laiks |
26.05.2025 13:35:23 |
