| Studiju veids |
bakalaura akadēmiskās studijas |
| Studiju programmas nosaukums |
Informācijas tehnoloģija |
| Nosaukums |
Risinājumi lielo datu plūsmu apstrādei tuvu reālajam laikam |
| Nosaukums angļu valodā |
Solutions for Real-time Big Data Stream Processing in Near-real Time |
| Struktūrvienība |
12100 Informācijas tehnoloģijas institūts |
| Darba vadītājs |
Jānis Kampars |
| Recenzents |
Mg. sc. ing. Artis Ābolts |
| Anotācija |
Lielie dati ir savākto datu kopas, kuras ir tik apjomīgas un sarežģītas, ka to apstrādei tradicionālie datu apstrādes risinājumi nav derīgi. Lietu interneta veidotās bezgalīgas datu plūsmas ir izaicinājums mūsdienu datu apstrādes sistēmām, kad nepietiekamu skaitļošanas vai atmiņas resursu dēļ datu analīze apstājas, un līdz ar to dati noveco. Dati zaudē savu vērtību – tie vairs nespēj atspoguļot reālo situāciju. Bakalaura darba ietvaros tika apskatītas lielo datu apstrādes platformas, grafu datubāzes, grafu straumēšanas ietvari, mašīnmācības modeļi. Izvirzītais mērķis darba izstrādes laikā ir veikt reālā laika lielo datu plūsmu apstrādes risinājuma izstrādi.
Mērķa sasniegšanai tika izvirzīti uzdevumi, pēc kuriem orientēties darba izstrādes laikā, tie ir: izvēlēties lietošanas gadījumu, kurā ir raksturīgs liels reālā laika datu apjoms un nepieciešamība strauji reaģēt uz datos identificētajām sakarībām, apskatīt pieejamo literatūru par jau pieejamiem risinājumiem lielo datu apstrādei tuvu reālam laikam, veikt reālā laika datu apstrādes risinājuma projektēšanu, veikt reālā laika datu apstrādes risinājuma ieviešanu, eksperimentāli novērtēt izstrādāto risinājumu.
Bakalaura darba veiktā reālā laika datu apstrādes risinājuma ieviešanā tika izveidota sistēma, kura spēj apstrādāt IT infrastuktūras topoloģiju grafa formātā – fiksējot grafa topoloģijas izmaiņas reālā laikā, kā arī izveidots mašīnmācības modelis, kurš reālā laikā prognozē diska darbības vērtību pret sistēmas noslodzi.
Darba apjoms - 62 lpp., 6 tabulas, 28 attēli un 1 pielikums. |
| Atslēgas vārdi |
Lielie dati, Lielo datu straumes apstrāde, Apache Spark, Apache Kafka, Neo4j, reāllaika |
| Atslēgas vārdi angļu valodā |
Big data, Big data streaming, Apache Spark, Apache Kafka, Neo4j, real-time |
| Valoda |
lv |
| Gads |
2021 |
| Darba augšupielādes datums un laiks |
31.05.2021 17:37:32 |
