| Form of studies |
Bachelor |
| Title of the study programm |
Computer Systems |
| Title in original language |
Beautiful Soup, Selenium un Scrapy darbības ātruma, efektivitātes un risinājumu salīdzināšana |
| Title in English |
Beautiful Soup, Selenium and Scrapy Speed, Efficiency and Solution Comparison |
| Department |
12300 Institute of Applied Computer Systems |
| Scientific advisor |
Valdis Saulespurēns |
| Reviewer |
O.Jakovļeva, M.sc.ing., RP SIA "Rīgas satiksme" Informācijas sistēmu attīstības un datu apstrādes daļas vadītāja vietn. |
| Abstract |
Bakalaura darba tips – 1., Moderno risinājumu izpēte. Darba ietvaros tika salīdzināti vairāki modernie risinājumi rasmošanai, un izstrādāti prototipa zirnekli ar katru no tiem. Visi modernie risinājumi tiks veidoti ar Python, kas pamatojoties pēc Tiobe indeksa ir viena no populārākajām un ātrāk augošajām valodām. Visas no bibliotēkām ir vispopulārākās, kas ir pieejamas priekš Python. Darba ietvaros tika apskatīta katra no bibliotēkām kā veidot zirnekli ar katrām, kādus risinājumus tie satur, to īpatnības salīdzinot ar pārējiem un ātrumu, resursu patēriņa salīdzināšana.
Pētot bibliotēkas tika konstatēts, ka Beautiful Soup satur vismazāk risinājumus, toties ir visātrākā un patērē vismazāk resursus. Selenium pretējā gadījumā satur vairāk funkcionalitāti un spēj ģenerēt lietotāja interfeisu, toties ir daudz lēnāka un aizņem daudz atmiņas it īpaši ja ar to vēlas strādāt asinhroni. Tieši rasmošanai Scrapy, jau satur visas nepieciešamās lietas, lai veiktu vaicājumus un apstrādātu datus. Tas strādā ļoti ātri salīdzinot ar Selenium un pēc noklusējuma asinhroni. Procesora noslogojums, darot tieši to pašu ko pārējie risinājumi arī bija salīdzinoši mazs, un atmiņas patēriņš bija minimāls.
Darba pamattekstā ir 46 lappuses, 8 attēli, 7 tabulas, 20 izmantoto literatūras avotu un 4 pielikumi. |
| Keywords |
Rasmošana, Beautiful Soup, Scrapy, Selenium, Tīmeklis, Automātiska datu iegūšana |
| Keywords in English |
Web Scraping, Beautiful Soup, Scrapy, Selenium, Internet, Automatic data gathering |
| Language |
lv |
| Year |
2021 |
| Date and time of uploading |
27.05.2021 22:41:08 |
