| Form of studies |
Bachelor |
| Title of the study programm |
Information Technology |
| Title in original language |
Risinājumi lielo datu plūsmu apstrādei tuvu reālajam laikam |
| Title in English |
Solutions for Real-time Big Data Stream Processing in Near-real Time |
| Department |
12100 Institute of Information Technology |
| Scientific advisor |
Jānis Kampars |
| Reviewer |
Mg. sc. ing. Artis Ābolts |
| Abstract |
Lielie dati ir savākto datu kopas, kuras ir tik apjomīgas un sarežģītas, ka to apstrādei tradicionālie datu apstrādes risinājumi nav derīgi. Lietu interneta veidotās bezgalīgas datu plūsmas ir izaicinājums mūsdienu datu apstrādes sistēmām, kad nepietiekamu skaitļošanas vai atmiņas resursu dēļ datu analīze apstājas, un līdz ar to dati noveco. Dati zaudē savu vērtību – tie vairs nespēj atspoguļot reālo situāciju. Bakalaura darba ietvaros tika apskatītas lielo datu apstrādes platformas, grafu datubāzes, grafu straumēšanas ietvari, mašīnmācības modeļi. Izvirzītais mērķis darba izstrādes laikā ir veikt reālā laika lielo datu plūsmu apstrādes risinājuma izstrādi.
Mērķa sasniegšanai tika izvirzīti uzdevumi, pēc kuriem orientēties darba izstrādes laikā, tie ir: izvēlēties lietošanas gadījumu, kurā ir raksturīgs liels reālā laika datu apjoms un nepieciešamība strauji reaģēt uz datos identificētajām sakarībām, apskatīt pieejamo literatūru par jau pieejamiem risinājumiem lielo datu apstrādei tuvu reālam laikam, veikt reālā laika datu apstrādes risinājuma projektēšanu, veikt reālā laika datu apstrādes risinājuma ieviešanu, eksperimentāli novērtēt izstrādāto risinājumu.
Bakalaura darba veiktā reālā laika datu apstrādes risinājuma ieviešanā tika izveidota sistēma, kura spēj apstrādāt IT infrastuktūras topoloģiju grafa formātā – fiksējot grafa topoloģijas izmaiņas reālā laikā, kā arī izveidots mašīnmācības modelis, kurš reālā laikā prognozē diska darbības vērtību pret sistēmas noslodzi.
Darba apjoms - 62 lpp., 6 tabulas, 28 attēli un 1 pielikums. |
| Keywords |
Lielie dati, Lielo datu straumes apstrāde, Apache Spark, Apache Kafka, Neo4j, reāllaika |
| Keywords in English |
Big data, Big data streaming, Apache Spark, Apache Kafka, Neo4j, real-time |
| Language |
lv |
| Year |
2021 |
| Date and time of uploading |
31.05.2021 17:37:32 |
