Graduate papers
  
Description of the graduate paper
Form of studies Bachelor
Title of the study programm Computer Systems
Title in original language Beautiful Soup, Selenium un Scrapy darbības ātruma, efektivitātes un risinājumu salīdzināšana
Title in English Beautiful Soup, Selenium and Scrapy Speed, Efficiency and Solution Comparison
Department Faculty Of Computer Science Information Tehnology And Energy
Scientific advisor Valdis Saulespurēns
Reviewer O.Jakovļeva, M.sc.ing., RP SIA "Rīgas satiksme" Informācijas sistēmu attīstības un datu apstrādes daļas vadītāja vietn.
Abstract Bakalaura darba tips – 1., Moderno risinājumu izpēte. Darba ietvaros tika salīdzināti vairāki modernie risinājumi rasmošanai, un izstrādāti prototipa zirnekli ar katru no tiem. Visi modernie risinājumi tiks veidoti ar Python, kas pamatojoties pēc Tiobe indeksa ir viena no populārākajām un ātrāk augošajām valodām. Visas no bibliotēkām ir vispopulārākās, kas ir pieejamas priekš Python. Darba ietvaros tika apskatīta katra no bibliotēkām kā veidot zirnekli ar katrām, kādus risinājumus tie satur, to īpatnības salīdzinot ar pārējiem un ātrumu, resursu patēriņa salīdzināšana. Pētot bibliotēkas tika konstatēts, ka Beautiful Soup satur vismazāk risinājumus, toties ir visātrākā un patērē vismazāk resursus. Selenium pretējā gadījumā satur vairāk funkcionalitāti un spēj ģenerēt lietotāja interfeisu, toties ir daudz lēnāka un aizņem daudz atmiņas it īpaši ja ar to vēlas strādāt asinhroni. Tieši rasmošanai Scrapy, jau satur visas nepieciešamās lietas, lai veiktu vaicājumus un apstrādātu datus. Tas strādā ļoti ātri salīdzinot ar Selenium un pēc noklusējuma asinhroni. Procesora noslogojums, darot tieši to pašu ko pārējie risinājumi arī bija salīdzinoši mazs, un atmiņas patēriņš bija minimāls. Darba pamattekstā ir 46 lappuses, 8 attēli, 7 tabulas, 20 izmantoto literatūras avotu un 4 pielikumi.
Keywords Rasmošana, Beautiful Soup, Scrapy, Selenium, Tīmeklis, Automātiska datu iegūšana
Keywords in English Web Scraping, Beautiful Soup, Scrapy, Selenium, Internet, Automatic data gathering
Language lv
Year 2021
Date and time of uploading 27.05.2021 22:41:08