Graduate papers
  
Description of the graduate paper
Form of studies Bachelor
Title of the study programm Information Technology
Title in original language Risinājumi lielo datu plūsmu apstrādei tuvu reālajam laikam
Title in English Solutions for Real-time Big Data Stream Processing in Near-real Time
Department Faculty Of Computer Science Information Tehnology And Energy
Scientific advisor Jānis Kampars
Reviewer Mg. sc. ing. Artis Ābolts
Abstract Lielie dati ir savākto datu kopas, kuras ir tik apjomīgas un sarežģītas, ka to apstrādei tradicionālie datu apstrādes risinājumi nav derīgi. Lietu interneta veidotās bezgalīgas datu plūsmas ir izaicinājums mūsdienu datu apstrādes sistēmām, kad nepietiekamu skaitļošanas vai atmiņas resursu dēļ datu analīze apstājas, un līdz ar to dati noveco. Dati zaudē savu vērtību – tie vairs nespēj atspoguļot reālo situāciju. Bakalaura darba ietvaros tika apskatītas lielo datu apstrādes platformas, grafu datubāzes, grafu straumēšanas ietvari, mašīnmācības modeļi. Izvirzītais mērķis darba izstrādes laikā ir veikt reālā laika lielo datu plūsmu apstrādes risinājuma izstrādi. Mērķa sasniegšanai tika izvirzīti uzdevumi, pēc kuriem orientēties darba izstrādes laikā, tie ir: izvēlēties lietošanas gadījumu, kurā ir raksturīgs liels reālā laika datu apjoms un nepieciešamība strauji reaģēt uz datos identificētajām sakarībām, apskatīt pieejamo literatūru par jau pieejamiem risinājumiem lielo datu apstrādei tuvu reālam laikam, veikt reālā laika datu apstrādes risinājuma projektēšanu, veikt reālā laika datu apstrādes risinājuma ieviešanu, eksperimentāli novērtēt izstrādāto risinājumu. Bakalaura darba veiktā reālā laika datu apstrādes risinājuma ieviešanā tika izveidota sistēma, kura spēj apstrādāt IT infrastuktūras topoloģiju grafa formātā – fiksējot grafa topoloģijas izmaiņas reālā laikā, kā arī izveidots mašīnmācības modelis, kurš reālā laikā prognozē diska darbības vērtību pret sistēmas noslodzi. Darba apjoms - 62 lpp., 6 tabulas, 28 attēli un 1 pielikums.
Keywords Lielie dati, Lielo datu straumes apstrāde, Apache Spark, Apache Kafka, Neo4j, reāllaika
Keywords in English Big data, Big data streaming, Apache Spark, Apache Kafka, Neo4j, real-time
Language lv
Year 2021
Date and time of uploading 31.05.2021 17:37:32