| Studiju veids |
bakalaura akadēmiskās studijas |
| Studiju programmas nosaukums |
Datorsistēmas |
| Nosaukums |
Beautiful Soup, Selenium un Scrapy darbības ātruma, efektivitātes un risinājumu salīdzināšana |
| Nosaukums angļu valodā |
Beautiful Soup, Selenium and Scrapy Speed, Efficiency and Solution Comparison |
| Struktūrvienība |
33000 Datorzinātnes, informācijas tehnoloģijas un enerģētikas fakultāte |
| Darba vadītājs |
Valdis Saulespurēns |
| Recenzents |
O.Jakovļeva, M.sc.ing., RP SIA "Rīgas satiksme" Informācijas sistēmu attīstības un datu apstrādes daļas vadītāja vietn. |
| Anotācija |
Bakalaura darba tips – 1., Moderno risinājumu izpēte. Darba ietvaros tika salīdzināti vairāki modernie risinājumi rasmošanai, un izstrādāti prototipa zirnekli ar katru no tiem. Visi modernie risinājumi tiks veidoti ar Python, kas pamatojoties pēc Tiobe indeksa ir viena no populārākajām un ātrāk augošajām valodām. Visas no bibliotēkām ir vispopulārākās, kas ir pieejamas priekš Python. Darba ietvaros tika apskatīta katra no bibliotēkām kā veidot zirnekli ar katrām, kādus risinājumus tie satur, to īpatnības salīdzinot ar pārējiem un ātrumu, resursu patēriņa salīdzināšana.
Pētot bibliotēkas tika konstatēts, ka Beautiful Soup satur vismazāk risinājumus, toties ir visātrākā un patērē vismazāk resursus. Selenium pretējā gadījumā satur vairāk funkcionalitāti un spēj ģenerēt lietotāja interfeisu, toties ir daudz lēnāka un aizņem daudz atmiņas it īpaši ja ar to vēlas strādāt asinhroni. Tieši rasmošanai Scrapy, jau satur visas nepieciešamās lietas, lai veiktu vaicājumus un apstrādātu datus. Tas strādā ļoti ātri salīdzinot ar Selenium un pēc noklusējuma asinhroni. Procesora noslogojums, darot tieši to pašu ko pārējie risinājumi arī bija salīdzinoši mazs, un atmiņas patēriņš bija minimāls.
Darba pamattekstā ir 46 lappuses, 8 attēli, 7 tabulas, 20 izmantoto literatūras avotu un 4 pielikumi. |
| Atslēgas vārdi |
Rasmošana, Beautiful Soup, Scrapy, Selenium, Tīmeklis, Automātiska datu iegūšana |
| Atslēgas vārdi angļu valodā |
Web Scraping, Beautiful Soup, Scrapy, Selenium, Internet, Automatic data gathering |
| Valoda |
lv |
| Gads |
2021 |
| Darba augšupielādes datums un laiks |
27.05.2021 22:41:08 |
