| Form of studies |
Master |
| Title of the study programm |
Computer Systems |
| Title in original language |
Datu integrācijas un tīrīšanas metodes strukturētiem lielapjoma datiem |
| Title in English |
Integration and Cleansing Methods for Structured Big Data |
| Department |
Faculty Of Computer Science Information Tehnology And Energy |
| Scientific advisor |
Ilze Birzniece |
| Reviewer |
Māra Romanovska |
| Abstract |
Mūsdienu lielo datu vidē datu kvalitātes nodrošināšana un efektīva integrācija ir būtisks priekšnoteikums precīzai analīzei un uzticamiem lēmumiem. Šis maģistra darbs fokusējas uz strukturētu lielapjoma datu attīrīšanas un integrācijas metožu izpēti, īpašu uzmanību pievēršot semantiskajai atbilstībai, metadatu izmantošanai un uz domēna zināšanām balstītai validācijai. Darbā tiek salīdzinātas tradicionālas un mūsdienīgas pieejas, kā arī analizēta holistisku stratēģiju piemērotība datu kvalitātes problēmu risināšanā.
Darba praktiskajā daļā izmantoti sintētiski veselības aprūpes dati ar mākslīgi ieviestām tipiskām datu kvalitātes kļūdām, kā piemēram dublikāti un iztrūkstošās vērtības . Tika izstrādāts un testēts reproducējams risinājums, kas, izmantojot atvērtā koda paralēlās un izkliedētās apstrādes rīkus (t.sk. Apache Spark, PySpark, Hadoop/HDFS), veic datu kvalitātes novērtēšanu un attīrīšanu dažādos formātos: CSV, Parquet, Avro, JSON. Izveidotais modelis apvieno datu shēmas, metadatu analīzi, semantiskās attiecības un starptabulu loģisko validāciju vienotā, paplašināmā sistēmā.
Darba rezultāts ir gan konceptuāls, gan praktisks ieguldījums datu kvalitātes uzlabošanā strukturētos lielapjoma datos, piedāvājot atkārtojamu, modulāru un uz domēnu orientētu risinājumu, ko iespējams pielāgot arī citiem pielietojuma kontekstiem. |
| Keywords |
lielie dati, datu kvalitāte, datu integrācija, datu attīrīšana, metadati, semantika, holistiskā paradigma |
| Keywords in English |
big data, data quality, data integration, data cleansing, metadata, semantics, holistic approach |
| Language |
lv |
| Year |
2025 |
| Date and time of uploading |
27.05.2025 12:07:16 |
