Useragent
Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)
DataForSEO Link Bot
Autoři bota o něm říkají:
Many people would classify DataForSEO Link Bot as yet another web crawler.
Well, they are wrong, and here’s why.
Možná se hluboce mýlím, ale jak na jeho chování na webu koukám, tak bych řekl, že to je “juts another SEO bot”. Tedy software, který crawluje vaše stránky, aby získaná data poskytl ve svém nástroji. Resp. v API s daty pro SEO specialisty a podobně.
Sám DataForSEO Link Bot mi nepřijde nebezpečný. Na druhou stranu je otázka, proč takový subjekt nechat procházet např. firemní dokumenty. Osobně jsem ho načapal jak si prochází ceník. Ten je sice veřejný, ale důvod proč by ho měl procházet nevidím