Scraping Camel - 8. verze - nastavení frekvence stahování stránek
2024-07-09T22:00:00Z
Nová verze aplikace Scraping Camel přinese důležitá vylepšení.
Nastavení jak často data aktualizovat
Jedná se o hlavní novinku release. Dosud se Scraping Camel snažil stahovat všechny známé (
) stránky webu (e-shopu) každý den. Pro větší weby to znamená tisíce či desítky tisíc požadavků denně. To ale pro řadu případů není zapotřebí. Pokud nepotřebujete informace, které se mění denně (např. cena zboží), bude lepší stahovat známé stránky méně často. Typickými příklady jsou zpracování obsahových webů, blogů, kategorií e-shopů…
Nově to bude fungovat tak, že:
- Nové stránky stáhne Scraping Camel co nejdříve. Tedy každý den.
- Stránky, které stáhl dříve, musí stáhnout pro aktualizaci dat pro případ, že by se na nich něco změnilo. Toto si budete moci nastavit:
- Pouze jednou a už nestahovat
- Každý den
- Každý tři dny
- Každý týden
- Každý měsíc
Plánování funguje tak, že pokud nastavíte např. týden, Scraping Camel si známé stránky rozdělí do sedmi skupin a každý den stáhne jednu skupinu. Skupiny jsou přibližně podobně veliké. Tím se zátěž cílového serveru výrazně sníží. Individuálně nastavovat kdy stáhne kterou stránku není možné. Toto najdete v části Nastavení --> Limitování požadavků.
Další novinky
Novinek jsou desítky. Uvedu ty, které jsou vidět více:
- Agenda webové stránky:
- Sezam stránek, filtr dle stavu zpracování stránky (aktivní, neaktivní)
- Agenda klíčová slova:
- Filtr: jednoslovná | víceslovná klíčová slova
- Selectbox “vybrat vše na stránce” pro hromadné operace
- Předdefinované elementy nově poznají Twitter labels
- Mnoho dalších vylepšení uživatelského rozhraní a oprav chyb.
Nechť vám novinky @group_scrapingcamel slouží dobře.