| Form of studies |
Bachelor |
| Title of the study programm |
Computer Science and Organizational Technologies |
| Title in original language |
Atvērtā pirmkoda un komerciālo lielo valodas modeļu salīdzinošs novērtējums nozarei specifisku tērzētāju izstrādē: uz informatīvi papildinātu ģenerēšanu balstīta pieeja sensitīvu personālvadības dokumentu apstrādei latviešu valodā. |
| Title in English |
A Comparative Evaluation of Open-Source and Proprietary LLMs for Domain-Specific Chatbot Design: A RAG-Based Approach to Sensitive HR Document Processing in Latvian. |
| Department |
Riga Business School |
| Scientific advisor |
Valdis Saulespurēns |
| Reviewer |
Kārlis Zars |
| Abstract |
Šis pētījums izvērtē, vai atvērtā pirmkoda, lokāli izvietoti lielie valodas modeļi spēj sasniegt tādu pašu atbilžu kvalitāti kā komerciāli, mākonī bāzēti modeļi identiskā izguves papildinātas ģenerēšanas (RAG) plūsmā latviešu valodas personāla dokumentu jautājumu atbildēšanai. Tika salīdzināti desmit ģeneratoru modeļi: divi atvērtā pirmkoda modeļi, kas izvietoti lokāli (Gemma 3 27B un Gemma 4 31B, izmantojot vLLM ar AWQ INT4 kvantizāciju), un astoņi komerciāli mākoņa modeļi (GPT-4o, GPT-5.4, GPT-5-mini, GPT-5-nano, Claude Sonnet 4, Claude Sonnet 4.5, Gemini 3 Flash un Gemini 3.1 Flash Lite). Visi modeļi izmantoja identisku dokumentu apstrādes plūsmu apstrādājot 18 latviešu personālvadības dokumentus. Kopa ar 70 latviešu valodā manuāli sastādītiem jautājumiem tika izvērtēta, izmantojot RAGAS ietvaru ar pieciem rādītājiem: uzticamība, atbildes atbilstība, konteksta precizitāte, konteksta pārklājums un atbildes pareizība. Vilkoksona testi (α = .05) neuzrādīja statistiski nozīmīgas atšķirības starp atvērtā pirmkoda modeļiem un sešiem no deviņiem salīdzinājuma modeļiem nevienā rādītājā. Abi atvērtā pirmkoda modeļi sasniedza kopsavilkuma rezultātus (.844 un .858) konkurētspējīgā diapazonā (.842-.868), būtiski pārsniedza budžeta klases GPT-5-nano (.740). Gemma 4 31B sasniedza augstāko atbildes pareizību (.800), statistiski nozīmīgi pārsniedzot sešus komerciālos modeļus šajā rādītājā. Rezultāti apliecina, ka atvērtā pirmkoda, lokāli izvietoti modeļi var kalpot kā dzīvotspējīga alternatīva komerciāliem mākoņa pakalpojumiem jomas specifiskos RAG lietojumos zemu resursu valodās, nodrošinot datu suverenitāti bez kvalitātes zuduma. |
| Keywords |
izguves papildināta ģenerēšana, lielie valodas modeļi, latviešu valodas apstrāde, zemu resursu valodas, atvērtā pirmkoda, uzņēmumu dokumentu apstrāde. |
| Keywords in English |
retrieval-augmented generation, large language models, Latvian language processing, low-resource languages, open-source LLM, enterprise document processing. |
| Language |
eng |
| Year |
2026 |
| Date and time of uploading |
20.04.2026 23:26:09 |
