Useragent
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
GoogleBot
Crawler fulltextového vyhledávače Google. Prochází internetové stránky s cílem získávat data pro fulltextové vyhledávání Google. Pokud GoogleBot navštíví vaše data, zbystřete. Pokud se jedná o data běžně dostupná z webu, je to v pořádku. Pokud však jde o data interní, mohou se objevit ve výsledcích vyhledávání Google, což vy nemusíte chtít.
Jak najde GoogleBot vaše data
Google prochází internetové stránky. Pokud najde odkaz na jinou stránku, navštíví odkaz a cílovou stránku zpracuje. Pokud někdo umístí odkaz na vaše data veřejně např. někam na web, může přivést GoogleBota. Jediný odkaz např. na stránce webu “Ke stažení” nebo třeba v komentáři pod nějakým článkem může takto dostat vaše data do veřejných výsledků vyhledávání Google.
Další informace
- Podrobnosti o GoogleBotovi
- Přehled různých botů které využívá Google
