Noslēguma darbu reģistrs
  
Studiju darba apraksts
Studiju veids bakalaura akadēmiskās studijas
Studiju programmas nosaukums Datorsistēmas
Nosaukums Beautiful Soup, Selenium un Scrapy darbības ātruma, efektivitātes un risinājumu salīdzināšana
Nosaukums angļu valodā Beautiful Soup, Selenium and Scrapy Speed, Efficiency and Solution Comparison
Struktūrvienība 12300 Lietišķo datorsistēmu institūts
Darba vadītājs Valdis Saulespurēns
Recenzents O.Jakovļeva, M.sc.ing., RP SIA "Rīgas satiksme" Informācijas sistēmu attīstības un datu apstrādes daļas vadītāja vietn.
Anotācija Bakalaura darba tips – 1., Moderno risinājumu izpēte. Darba ietvaros tika salīdzināti vairāki modernie risinājumi rasmošanai, un izstrādāti prototipa zirnekli ar katru no tiem. Visi modernie risinājumi tiks veidoti ar Python, kas pamatojoties pēc Tiobe indeksa ir viena no populārākajām un ātrāk augošajām valodām. Visas no bibliotēkām ir vispopulārākās, kas ir pieejamas priekš Python. Darba ietvaros tika apskatīta katra no bibliotēkām kā veidot zirnekli ar katrām, kādus risinājumus tie satur, to īpatnības salīdzinot ar pārējiem un ātrumu, resursu patēriņa salīdzināšana. Pētot bibliotēkas tika konstatēts, ka Beautiful Soup satur vismazāk risinājumus, toties ir visātrākā un patērē vismazāk resursus. Selenium pretējā gadījumā satur vairāk funkcionalitāti un spēj ģenerēt lietotāja interfeisu, toties ir daudz lēnāka un aizņem daudz atmiņas it īpaši ja ar to vēlas strādāt asinhroni. Tieši rasmošanai Scrapy, jau satur visas nepieciešamās lietas, lai veiktu vaicājumus un apstrādātu datus. Tas strādā ļoti ātri salīdzinot ar Selenium un pēc noklusējuma asinhroni. Procesora noslogojums, darot tieši to pašu ko pārējie risinājumi arī bija salīdzinoši mazs, un atmiņas patēriņš bija minimāls. Darba pamattekstā ir 46 lappuses, 8 attēli, 7 tabulas, 20 izmantoto literatūras avotu un 4 pielikumi.
Atslēgas vārdi Rasmošana, Beautiful Soup, Scrapy, Selenium, Tīmeklis, Automātiska datu iegūšana
Atslēgas vārdi angļu valodā Web Scraping, Beautiful Soup, Scrapy, Selenium, Internet, Automatic data gathering
Valoda lv
Gads 2021
Darba augšupielādes datums un laiks 27.05.2021 22:41:08