Graduate papers
  
Description of the graduate paper
Form of studies Bachelor
Title of the study programm Computer Systems
Title in original language RDD, Data Frame un Dataset iespēju salīdzinājums lielo datu apstrādē izmantojot Apache Spark un Scala
Title in English RDD Data Frame and Dataset Capability Comparison in Big data Using Apache Spark and Scala
Department Faculty Of Computer Science Information Tehnology And Energy
Scientific advisor Ainārs Auziņš
Reviewer Lietišķo datorsistēmu institūta pētnieks A.Gaidukovs
Abstract Darbā tiek apskatītas atklātā pirmkoda iekšatmiņas klastera datošanas ietvara Apache Spark pieejamās optimizācijas un interfeisi - Izturīga sadalīta datu kopa (angļu val. Resilient Distributed Dataset (RDD)), Datu rāmis(angļu val. Data Frame) un Datu kopa (angļu val. Data Set). Darbā tiek analizēts Izturīgas sadalītas datu kopas, Datu rāmja un Datu kopas darbība, lai izvērtētu, kurās situācijās labāk izmantot kādu no apskatītajiem interfeisiem efektīvākai datu apstrādei. Darbs satur pētījumu par to, kas ir Apache Spark, kā to izmantot lielo datu apstrādē un kā atšķiras programmatūrā pieejamās optimizācijas un iepriekš minētie interfeisi pēc savas uzbūves un darbības. Praktiski tika apskatīts, kā atšķiras dažādu SQL transformāciju izpildes ātrums, izmantojot Izturīgu sadalītu datu kopu, Datu rāmi un Datu kopu, apstrādājot dažāda izmēra testa datus. Salīdzinājumos pierādījās, ka Datu rāmja programmēšanas interfeiss ir visātrākais no trim apskatītajiem interfeisiem veicot standarta SQL transformācijas 10 - 30% ātrāk nekā Datu kopas interfeiss, salīdzinājumā arī atklājās, ka Izturīga sadalīta datu kopas interfeiss nespēj efektīvi apstrādāt lielus datu apjomus bez manuālas, specifiskas optimizācijas. Darba pamattekstā ir 55 lappuses, 19 attēli, 5 tabulas, 21 informācijas avots un 4 pielikumi.
Keywords LIELIE DATI, APACHE SPARK, DATU INŽENIERIJA, DATU ANALĪTIKA, KLASTERI
Keywords in English BIG DATA, APACHE SPARK, DATA ENINGEERING, DATA ANALYTICS, CLUSTERS
Language lv
Year 2020
Date and time of uploading 16.06.2020 13:33:00