Co dělat když XML soubor s daty e-shopu stáhne useragent, kterého Mergado nezná

xml-feed

#1

Středeční release novinek by měl Mergado naučit novou notifikaci. Ta se zobrazí výhradně v administraci Mergada, a to když výstupní XML soubor stáhne useragent, kterého Mergado nezná. Může jít např. o tvůj internetový prohlížeč. Nebo třeba o cizího robota. Cílem této notifikace je posílit bezpečnost dat.

Upozornění v administraci Mergada je první krok. Když se tak dívám do přehledu, kdo všechno data z Mergada stahuje, cítím, že by na tomto upozornění mohla vzniknout diskuse. Diskuse o tom, zda je nutno sledovat kdo data čte, jak postupovat vůči neznámým botům a dokonce zda někoho systematicky blokovat…

Tyto řádky píši, abych tě podpořil v zapojení do diskuse. Budu moc rád za upozornění na boty, které Mergado nepozná a mělo by, za názory, za tipy jak navrhuješ situace řešit ty.

Děkuji.


Poznámka: pokud ti přijde divné, že otázku bezpečnosti řešíme až teď, je to proto, že jsem považoval bezpečnost za věc uživatele. Mergadovy výstupní XML soubory jsou na adresách, které nelze snadno uhodnout. Pokud XML soubor tvého exportu někdo stahuje, musel mu tuto adresu někdo říct. Historicky to nejprve nebyl nikdo cizí. Následně se ale začaly objevovat situace, kdy někteří šikovní uživatelé uveřejnili URL svých XML souborů např. někde na webu, tím je našli SeznamBot či GoogleBot a dokonce i vraceli ve výsledcích vyhledávání. Osobně považuji takové jednání za lehkovážné, nicméně jsem měl pocit, že na něj uživatel má právo.

Poznámka: toto se NEtýká pouze Mergada. Týká se to obecně jakéhokoliv tvůrce XML či jiného datového výstupu s daty e-shopu. Např. shopsystému. Diskuse je tedy obecná.

Dnes je situace složitější. Přibylo různých nástrojů, které z Mergada data čerpají, přibylo uživatelů, kteří s adresami XML souborů nakládají všelijak. A jsou tu i služby, které uveřejní adresu Vašeho XML, byť to uživateli třeba nedojde. Příkladem budiž např. affiliate síť Dognet, která uveřejňuje URL XML souborů přímo na webu uživatelům bez přihlášení klikatelný odkaz. A takový odkaz přivede na cílový XML soubor všelijakou on-line havěť. Od botů služeb jako Ahrefs.com, MajesticSEO.com až po různé více či méně známe boty.

Co s nimi? Je to problém, a nebo vlastně vůbec ne?

A tady se vracíme k první části tohoto příspěvku. Rád bych diskutoval co s různými boty. Nejlépe na konkrétních situacích (přímo URL či název e-shopu uvádět nemusíš, ale budu rád za diskusi konkrétní, nikoliv teoretickou :smile:).

Děkuji.


#2

Fajn, že se to řeší, ale ráda bych to měla možnost vypnout.
Pro mě je to nepoužitelné, akorát mně skočí co ráno x zpráv, které nejsou pro mě nyní důležité.


#3

Ahoj, je možné to vypnout někde to zobrazování? Co pár hodin tam mám novou zprávu a vypnout to nijak nejde. Mohu si to skrýt, ale někdy je tam i něco důležitého!


#4

Jsou tam prosím useragenti, které by mělo Mergado znát a nezná? Případně jiné informace? Pošli prosím sem nebo přímo na support e-mailem. Děkuji.

Bohužel nyní nikoliv. @pavel_rusinsky podíváš se na to prosím?


#5

Výstupní feed exportu Glami.cz byl stažen z neznámé IP adresy: 88.86.120.170, User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/6.0).
21. 1. 2018 06:55 (107×) Rozumím

Výstupní feed exportu Heureka.sk byl stažen z neznámé IP adresy: 185.59.208.151, User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6.
21. 1. 2018 04:50 (17×) Rozumím

Výstupní feed exportu Zboží.cz (nový formát) byl stažen z neznámé IP adresy: 217.11.254.44, User-Agent: -.
21. 1. 2018 04:45 (10×) Rozumím

Výstupní feed exportu VO_heureka.cz byl stažen z neznámé IP adresy: 52.208.48.141, User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0).
21. 1. 2018 04:35 (2×) Rozumím

Výstupní feed exportu Heureka.cz byl stažen z neznámé IP adresy: 194.145.183.18, User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0.
21. 1. 2018 04:15 (9×)

Výstupní feed exportu VO_heureka.cz byl stažen z neznámé IP adresy: 194.145.183.18, User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0.
21. 1. 2018 03:05 (10×) Rozumím

Výstupní feed exportu PriceMania.sk byl stažen z neznámé IP adresy: 185.59.208.151, User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6.


#6

Děkuji @petramikulaskova

Nenapadá tě, kdo by mohl být:

IP adresa: 52.208.48.141
User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0).

Vypadá to na boty a nenapadá mne, kdo by to mohl být. Nevíš zda tam klient používá nějaké nástroje?

Děkuji.


#7

217.11.254.44 - Vypadá na Zbozi-pro http://www.domainanls.com/www/zbozi-pro.cz


#8

@petramikulaskova , nakonec jsme se v Mergadu domluvili, že tohle upozorňování vypneme (a zůstane vypnuté minimálně do doby, než si uživatelé budou moci takové zprávy sami nastavit). Viz Novinky a release v Mergadu