Blending Bull NEWS

Nová verze aplikace :cow: BLENDING BULL - 2021-11-14T23:00:00Z - “4.0 - pravidla”

Pondělní release přinesl nové typy pravidel, které můžete využít pro editaci souborů.

Nové typy pravidel pro zpracování CSV & XML feedů

Nové typy pravidel šlo již dříve zapsat regulárním výrazem do pravidla Najít a nahradit. Cílem vylepšení bylo zjednodušit tvorbu pravidel. Uvedu stručný popis pravidla a tam, kde to bude vhodné, přidám příklady fungování či využití. Protože je textu hodně, schoval jsem informace pod rozklikávací odkazy níže.

Smazat text

:scissors: Pravidlo “Smazat text”

Smaže ze souboru uvedený text. Lze zapsat jak formou statického textu, tak jako regulární výraz. Pravidlo funguje tak, že zadaný text najde a nahradí za prázdný řetězec, Tedy ze souboru odstraní.

Příklady využití pravidla “Smazat text”

Smazat v souboru text: <language>cs</language>
regulární výraz: NE
odstraní: <language>cs</language>

Smazat v souboru text: <pickup_time.*</pickup_time>
regulární výraz: ANO
odstranínapř.: <pickup_time orderDeadline="2011-09-10 12:00">2011-09-11 18:00</pickup_time>

K čemu je pravidlo “Smazat text” dobré

Zjednoduší odstranění textu ze souboru. Nemusí jít přitom o celý XML element. Může to být libovolný text v souborech formátů CSV, XML, JSON, TXT či jiných.

Smazat konce řádků

:bread: Pravidlo “Smazat konce řádků”

Smaže v souboru všechny konce řádků. Z textu se tak stane “jeden dlouhý řádek”.

Příklad využití pravidla “Smazat konce řádků”

Datový zdroj:

<SHOPITEM>
<ITEM_ID>1</ITEM_ID>
<PRODUCTNAME>Hrníček bíly Karel</PRODUCTNAME>
</SHOPITEM>
<SHOPITEM>
<ITEM_ID>2</ITEM_ID>
<PRODUCTNAME>Hrníček bíly Maruška</PRODUCTNAME>
</SHOPITEM>

upraví na soubor:

<SHOPITEM><ITEM_ID>1</ITEM_ID><PRODUCTNAME>Hrníček bíly Karel</PRODUCTNAME></SHOPITEM><SHOPITEM><ITEM_ID>2</ITEM_ID><PRODUCTNAME>Hrníček bíly Maruška</PRODUCTNAME></SHOPITEM>
K čemu je pravidlo “Smazat konce řádků” dobré

Pokud obsah souboru dále zpracováváte regulárními výrazy, konce řádků Vás při tom mohou zlobit. Tímto pravidlem si obsah souboru nejprve “vyčistíte” a pak můžete dále zpracovávat.

Smazat prázdné řádky

:ghost: Pravidlo "Smazat prázdné řádky!

Smaže všechny řádky, na kterých není žádný text, nebo jsou na řádku pouze bílé znaky (mezery, nezlomitelné mezery, tabelátory aj.).

Příklad využití pravidla “Smazat prázdné řádky”

Datový zdroj:

<SHOPITEM>
    <ITEM_ID>1</ITEM_ID>

    <PRODUCTNAME>Hrníček bíly Karel</PRODUCTNAME>
</SHOPITEM>
<SHOPITEM>
    <ITEM_ID>2</ITEM_ID>

    <PRODUCTNAME>Hrníček bíly Maruška</PRODUCTNAME>
</SHOPITEM>

upraví na soubor:

<SHOPITEM>
    <ITEM_ID>1</ITEM_ID>
    <PRODUCTNAME>Hrníček bíly Karel</PRODUCTNAME>
</SHOPITEM>
<SHOPITEM>
    <ITEM_ID>2</ITEM_ID>
    <PRODUCTNAME>Hrníček bíly Maruška</PRODUCTNAME>
</SHOPITEM>
K čemu je pravidlo “Smazat prázdné řádky” dobré

Uvedený příklad představuje situaci, kdy jiným pravidlem odstraníme z datového souboru data. Po nich zůstanou v souboru prázdné řádky. Prázdné řádky mohou činit soubor nepřehledným. Pravidlem Smazat prázdné řádky v závěru zpracování soubor “vyčistíme” a zpřehledníte.

Smazat bílé znaky na začátcích řádků

:white_flag: Pravidlo “Smazat bílé znaky na začátcích řádků”

Odstraní bílé znaky na začátcích řádků. Ty mohou zlobit při aplikací regulárních výrazů v dalších pravidlech.

Příklad využití pravidla “Smazat bílé znaky na začátcích řádků”

Datový zdroj:

<PARAM>
    <PARAM_NAME>Barva</PARAM_NAME>
    <VAL>Červená</VAL>
</PARAM>

zpracuje na soubor:

<PARAM>
<PARAM_NAME>Barva</PARAM_NAME>
<VAL>Červená</VAL>
</PARAM>
K čemu je pravidlo “Smazat bílé znaky na začátcích řádků” dobré

Bílých znaků je více. Jsou to mezery, nezlomitelné mezery, tabelátory… Mohou bránit ve zpracování textu regulárním výrazem. Nebo výstupní soubor činí “nepěkný”. To když v něm zůstanou bílé znaky a vytvoří nelogická odsazení. Toto pravidlo soubor “vyčistí”, aby se Vám lépe zpracovával dalšími pravidly.

Smazat všechny bílé znaky

:sun_behind_large_cloud:Smazat všechny bílé znaky

Smaže všechny bílé znaky v souboru. A to na všech místech, nehledě na tom zda jde o soubor ve formátu CSV, XML, TXT, JSON či jiném.

Příklad využití pravidla “Smazat všechny bílé znaky”

Datový zdroj:

ID , PRICE_VAT , DELIVERY_DATE
1 , 126.50 ,0
2 ,342.10 , 0

zpracuje na soubor:

ID,PRICE_VAT,DELIVERY_DATE
1,126.50,0
2,342.10,0
K čemu je pravidlo “Smazat všechny bílé znaky” dobré

Viz. příklad výše se pravidlo může hodit k hromadnému “vyčištění” CSV souboru od nežádoucích mezer.

Zarovnat XML do tabulky

:pancakes: Zarovnat XML do tabulky

Pravidlo je vhodné pro zpracování souborů ve formátu XML. Uživatel definuje název elementu který uzavírá jednu položku (např. zboží) (např. element SHOPITEM). Pravidlo odstraní konce řádků a bílé znaky a doplní nové konce řádků tak tak, že jedna položka bude na jednom řádku.

Příklad využití pravidla “Zarovnat XML do tabulky”

Datový zdroj:

<SHOPITEM>
    <ITEM_ID>1</ITEM_ID>
    <PRODUCTNAME>Hrníček bíly Karel</PRODUCTNAME>
    <PRICE_VAT>123</PRICE_VAT>
</SHOPITEM>
<SHOPITEM>
    <ITEM_ID>2</ITEM_ID>
    <PRODUCTNAME>Hrníček bíly Maruška</PRODUCTNAME>
    <PRICE_VAT>456</PRICE_VAT>
</SHOPITEM>

Soubor po aplikaci pravidla, kdy uživatel zadal element SHOPITEM:

<SHOPITEM><ITEM_ID>1</ITEM_ID><PRODUCTNAME>Hrníček bíly Karel</PRODUCTNAME><PRICE_VAT>123</PRICE_VAT></SHOPITEM>
<SHOPITEM><ITEM_ID>2</ITEM_ID><PRODUCTNAME>Hrníček bíly Maruška</PRODUCTNAME><PRICE_VAT>456</PRICE_VAT></SHOPITEM>
K čemu je pravidlo “Zarovnat XML do tabulky” dobré

Uvědomme si, že Blending Bull edituje přímo znaky souborů. Potřebujete-li jiným pravidlem editovat text za pomocí regulárního výrazu, mohu Vás zlobit bílé znaky či řádkové zlomy, které aplikaci regulárního výrazu zabrání. Resp. napsat regulární výraz tak aby s těmito znaky počítal, bude složité. Pravidlem Zarovnat XML do tabulky si připravíte obsah souboru tak, že jedna položka (např. SHOPITEM) bude na jednom řádku. Bude tak možné psát regulární výrazy editující jak jednotlivé elementy, tak zpracovávající celou položku. Např. přesouvají elementy do určeného pořadí a podobně.

:warning: Pravidlo Zarovnat XML do tabulky považuje autor těchto řádek za velmi užitečné a jistě s ním ve svých dlaších příkladech uživání aplikace Blending Bull bude pracovat :wink:

Smazat XML značku i s obsahem

:axe: Pravidlo “Smazat XML značku i s obsahem”

Smaže ze souboru všechny výskyty daného elementu. I s hodnotami.

Příklad využití pravidla “Smazat XML značku i s obsahem”

Zadáte-li do pravidla hodnotu PRODUCTNAME, smaže pravidlo ze souboru všechny hodnoty <PRODUCTNAME>cokoliv</PRODUCTNAME>.

K čemu je pravidlo “Smazat XML značku i s obsahem” dobré

Zjednoduší vám zápis pravidla pro odstranění elementu. To se může hodit např. pro zeštíhlení datového souboru (odstranění nepotřebných dat) pro pravidlo datového importu do Mergada či pro jiné zpracování.

Kde najdete nové typy pravidel pro editaci feedů

V Aplikaci Blending Bull, části Upravit soubor, Nové pravidlo - v rozklikávací nabídce Typ pravidla.

Co přináší nové typy pravidel do zpracování CSV & XML feedů

Především zjednodušení práce. Jednak se budou úpravy jednodušeji zapisovat, jednak se spojí do jediného pravidla více úkonů, pro které jsme dosud potřebovali více pravidel Najít a nahradit. Zejména pravidlo Zarovnat XML do tabulky změní způsob, jakým nad úpravou feedů uvažujeme. O tom napíši další příklady využití.

Děkuji, že Blending Bull využívátě
a nechť Vám dobře slouží.

2 Likes

Nová verze aplikace :cow: BLENDING BULL - 2021-11-21T23:00:00Z - “4.1”

Dnešní release přinesl drobné vylepšení. Pravidlo Zarovnat XML do tabulky nemazalo bílé znaky na začátku prvního řádku souboru. Na ostatních ano. Nově odstraní bílé znaky na začátcích všech řádků.

O tomto pravidle více viz release notes 4.0.

1 Like

:construction_worker_man: Plánovaná odstávka

2022-01-13T08:00:00Z budeme přesouvat aplikaci Blending Bull na nový server. Aplikace bude dopoledne odstavena z provozu. Následně se změní IP adresa ze které aplikace na stránky přistupuje.

Nová IP: 178.238.44.137

Děkuji za pochopení.
ping @group_blendingbull

Nová verze aplikace :cow: BLENDING BULL - 2022-01-20T23:00:00Z - “4.2”

Dnes proběhl mimořádný servisní zásah v aplikaci Blending Bull. Byla ošetřena situace, která za určitých okolností mohla zaseknout zpracovávání souborů. A to při nevalidním zadání pro zpracování patičky datového zdroje.

2 Likes

:stopwatch: Zkušební dobu blending-bull jsme prodloužili na 30 dní

Změnil jsem nastavení aplikace v MERGADO Store a prodloužil zkušební dobu z 10 na 30 dní. Cílem je více času, kdy můžete aplikaci zdarma otestovat. Žádosti na prodloužení zkušební doby padaly např. v recenzích na Capteře. Snad vám tedy prodloužení zkušební doby bude k užitku.

1 Like

:warning: Pozor na release Mergada

:information_source: Toto upozornění se týká pouze datových zdrojů, kdy zpracováváte XML feedy, které vytváří :mergado: MERGADO. Jiných datových feedů se nedotkne!

2022-02-16T14:30:00Z proběhne release Mergada. Ten by měl změnit v hlavičkách některých formátů XML feedů velikost písmen. Text utf-8 změní nově na UTF-8. blending-bull rozlišuje velikosti písmen. Tato změna by tedy mohla mít vliv na zpracování feedů a stojí za kontrolu.

Co zkontrolovat

Osobně tipuji, že nejčastěji by mohlo jít o odstraňování hlaviček datových zdrojů.
Nicméně vy víte přesněji, jak data upravujete.

Jak zkontrolovat

Po release (podle mne stačí např. kolem 16 h) ručně spustit přegenerování feedu v Mergadu. Následně zkontrolovat jak vypadá hlavička výstupního feedu který zpracováváte pomocí Blending Bull. Pokud bude obsahovat písmena UTF velkými, zkontrolovat jak Vám funguje Blending Bull, případně nastavení upravit.

Tato změna je plánovaná. Po ní by nemělo docházet k nenadálým změnám tohoto typu. Jde o jednorázovou událost @group_blendingbull

2 Likes

:cow: Blending Bull - 5. verze - mnoho vylepšení napříč aplikací

Plánovaný termín nasazení: 2022-05-24T11:00:00Z

V úterý budeme nasazovat novou verzi aplikace Blending Bull. Po nasazení doporučuji @group_blendingbull svá data překontrolovat. Stávající funkcionalita by měla fungovat jako doposud. Nicméně nových funkcí je hodně, a tak je obezřetnost na místě.

Přehled novinek

Při sestavování funkcí pro tento sprint jsem vycházel z nápadů. V přehledu novinek proto odkáži na konkrétní nápady a nebudu podrobnosti opakovat obšírněji. Některé funkce si zaslouží podrobnější vysvětlení. To sepíši do samostatných příspěvků.

Podpora Mime type

:lemon: Podpora Mime type

Nově bude možno jak v průvodci založením souboru, tak v nastavení souboru stanovit mime type. Mime je nepovinný. Změna již nastaveného mime type změní také URL souboru!

Vlastní URL podstránek aplikace

:ladder: Vlastní URL podstránek aplikace

Nově budou mít podstránky aplikace vlastní URL. Lze např. stisknout v prohlížeči klávesu F5 a načte se znovu daná stránka.

Proměnná DATUM

:calendar: Proměnná DATUM

Zavedeme systémové proměnní viz nápad s proměnnou datum.

Vylepšení stránky Datové zdroje

:softball: Vylepšení stránky Datové zdroje

Vylepšili jsme stránku Datové zdroje o nové ovládací prvky. Dále přibude barevný puntík signalizující, zda na dané URL lze stáhnout datový zdroj a v kolika souborech je daný datový zdroj použit. Navíc jsme vylepšili chování aplikace, pokud uživatel zkusí vytvořit datový zdroj a použije neplatnou URL. Dříve toto mohlo vracet chybu. Nyní by měl Bull vrátit zdvořilé varování, že URL uložit nechce, protože na ní žádný datový zdroj nenašel.

Nový typ pravidla: Smazat řádek obsahující text

:softball: Nový typ pravidla: Smazat řádek obsahující text

Nový typ pravidla smazat řádek obsahující text zjednoduší čištění souborů od nežádoucích dat.

Pořadí pravidel změnit tažením myši

:softball: Pořadí pravidel změnit tažením myši

Dosud bylo nutno pořadí měnit klikáním na šipky. Kliků mohlo být někdy hodně. Nově bude možné pořadí stanovit přetažením pravidla myší.

Drobná vylepšení stránky Nastavení souboru

:softball: Drobná vylepšení stránky Nastavení souboru

Vylepšili jsme stránku nastavení souboru. Doplnili jsme funkce z průvodce definující mime type, doplnili jsme ikonu pro zkopírování URL souboru a možnost soubor smazat.

Další vylepšení

Kromě uvedených změn jsme doplnili řadu menších oprav a vylepšení. Například jsme “vyměnili” okna s notifikacemi a žádostmi o potvrzení (např. smazání souboru). Vylepšili jsme zabezpečení aplikace. Připravili jsme nový administrátorský panel. Ten poslouží k podrobnějšímu sledování, zda nedošlo např. k pozastavení zpracování dat. Dosud jsme měli panel jednoduchý, který některé situace nepokryl. Nový panel by měl vylepšit náš přehled a snížit počet poruch v chodu aplikace, které nezachytíme velmi brzy.

O nasazování nové verze

Po nasazení změn bude vhodné zkontrolovat, zda Blending Bull na vašich souborech funguje správně. Případné nešvary prosím hlaste na náš support.

Děkuji.

1 Like

:cow: Blending Bull - 5.1 verze

Termín nasazení: 2022-05-30T08:30:00Z

Oprava chyby při zapínání aplikace v Mergado Store a jiné neefektivnosti, která by v budoucnu mohla vést k zaplnění paměti.

:cow: Blending Bull - 6. verze - počítadlo

Plánovaný termín nasazení: 2022-08-14T22:00:00Z.

Přehled novinek

  • :star::star::star: Počítadlo
  • :star: Nové pravidlo “Smazat řádky neobsahující text”
  • Vylepšení pravidla “Smazat bílé znaky na začátcích řádků”
  • Zefektivnění přístupových práv uživatelů k e-shopu
  • Nové funkce pro naše správce, kteří dohlížejí nad chodem aplikace
  • Drobné opravy a vylepšení

Zejména funkce počítadlo je velmi mocná a přinese mnoho nových možností práce s daty. Všechny funkce rozšiřují stávající chování aplikace. Nic nebylo odstraněno. Používání je intuitivní. Funkci počítadlo popíši podrobněji po nasazení nové verze.

Upozornění

V aplikaci bude řada změnu. Doporučuji zkontrolovat její správné fungování - zejména zda výstupní data odpovídají vašim očekávání. Aplikace je již nyní důkladně otestována. Nicméně vstupní data mohou být nevyzpytatelná. Termín release vyhlašuji hodně dopředu i s ohledem na aktuální období dovolených @group_blendingbull

1 Like

:cow: Blending Bull - 7. verze - nové typy a možnosti typy pravidel

Plánovaný termín nasazení: 2022-10-16T22:00:00Z.

Přehled novinek

Nové typy pravidel a vylepšení pravidel zjednodušují zápis nastavení.

Upozornění

Vaše stávající pravidla by měla být “přenesena” do nové verze v pořádku. Stojí však za kontrolu, zda vše funguje správně.


Ping @group_blendingbull

Ilustrace

Nový termín školení :cow: Blending Bull

2022-11-24T09:00:00Z

Projdeme si fungování aplikace, konkrétní využití při správě XML & CSV feedů. Proklikáme nastavení. Školení je vhodné pro ty, kdo na školení Blending Bull ještě nebyli. Podrobnosti a registrace na stránce školení v MERGADO Academy. Školení bude on-line. Předpokládaný rozsah cca 2 hodinky.

Budu rád, když se na školení setkáme @group_blendingbull

:cow: Blending Bull - 7.1 verze - oprava řádkových zlomů

Termín nasazení: 2022-12-14T23:00:00Z. Nasadili jsme opravu zpracování řádkových zlomů v pravidlech. Pokud jste dosud chtěli vyhledat např. text:

123
456

tedy rozdělený na dva řádky, vyhledání nefungovalo správně. Od nynějška by mělo fungovat a tento text najít.

1 Like

:cow: Blending Bull - 8. verze - HTTP(S) basic access

Plánovaný termín nasazení: 2023-01-24T23:00:00Z.

Ilustrace

Nové funkce

Nová verze přinese především podporu stahování datových zdrojů z HTTP basic access. Ty můžete znát ze situací, kdy URL datového zdroje vypadá takto: https://jmeno:heslo@www.domena.com/some-file.ext, tedy uživatelské jméno a heslo jsou vloženy na začátek adresy feedu. V takovém případě přepněte na volbu Pro přístup k datovému zdroji je nutné se přihlásit a vyplňte formulář:

  • URL datového zdroje: https://www.domena.com/some-file.ext*
  • Uživatelské jméno: jmeno
  • Heslo: heslo

Všimněte si, že jméno a heslo se do adresy datového zdroje již neuvádí.

Dále přináší release řadu oprav a drobných vylepšení, zejména backendu aplikace.

Aktuální termín školení

Rád bych Vás pozval na nejbližší termín školení Blending Bull, kde probereme ovládání této aplikace, od základů, po pokročilé fígle.


Ping @group_blendingbull

1 Like

:cow: Blending Bull - 9. verze - různé opravy a vylepšení

2023-05-13T22:00:00Z.

Připravovaný release přinese větší množství menších oprav a vylepšení.

Přehled novinek

  • Nastavení zpracovat jako více slov nově začleníme také do pravidel smazat XML značku i s obsahem a ponechat XML značku i s obsahem, kde dosud nebylo.
  • Zvýšili jsme limit počítadla. Původních 40 000 hodnot, v některých případech, nedostačovalo.
  • Odstranili jsme chybu, která nesprávně ukládala text k odstranění z hlavičky a patičky datového zdroje. Nesprávně se ukládaly řádkové zlomy. To bude napraveno.
  • Přidali jsme nové jazykové verze administrace: SK a HU. Výchozím jazykem bude EN.
  • …další menší opravy a vylepšení.
2 Likes

:cow: Nová IP adresa Blending Bull

2023-07-18T22:00:00Z

Blending Bull jsme přesunuli na nový server. Tím došlo ke změně IP adresy.

Nová IP adresa ze které se stahují datové zdroje: 178.238.44.169[1]

@group_blendingbull


  1. Tato IP je jiná, než na které běží uživatelské rozhraní aplikace. To jen pro zajímavost, pokud by se nad tím někdo podivoval :wink: ↩︎

1 Like

:cow: Blending Bull - 10. verze - přepracované jádro

2023-07-25T22:00:00Z večer

Nová verze Blending Bull přinese přepracované jádro aplikace. V uživatelském prostředí změny téměř nepoznáte. Změní se ovšem způsob, jakým funguje při zpracování dat. Cílem je umožnit budoucí zvyšování výkonu jak zpracování dat, tak uživatelského rozhraní.

Změny které uvidíte

  • Na stránce Datové zdroje přibude u datového zdroje informace o velikosti souboru. Budete tak moci identifikovat datové zdroje veliké i nečekaně malé.
  • Oprava řazení datových zdrojů v souboru[1].
  • Další menší opravy a vylepšení.

@group_blendingbull


  1. Kvůli chybě v administraci nebylo možné myší pořadí změnit ↩︎

1 Like

:cow: Blending Bull - 11. verze - zrychlení zpracování dat

2023-09-20T22:00:00Z

Optimalizovali jsme zpracování dat. Nová verze Belnding Bulla by měla přinést rychlejší zpracování, zejména hodně velkých, feedů.

:cow: Blending Bull - 12. verze - zrychlení & pravidlo pro JSON

2023-11-26T23:00:00Z

Vylepšili jsme rychlost zpracování datových feedů. Zejména u velkých souborů dojde ke znatelnému zrychlení zpracování dat. Dále jsme vytvořili nový typ pravidla. Slouží k jednodušší konverzi XML feedů na JSON. Tato konverze byla dosud možná. Bylo ovšem třeba použít více pravidel. Nové pravidlo stačí jedno. Použití je jednoduší a zpracování rychlejší.

Použití pravidla je takové, že zadáte element označující kořenovou část položky (např. SHOPITEM). Následně uvedete elementy, které chcete na výstupu. A to jak se jmenují ve vstupním XML a jak se mají jmenovat ve výstupním JSON. Dále typ dat. Obvykle bude stačit výchozí typ “Text”.

Pravidlo dobře zvládá tvorbu jednodušších JSON feedů. V praxi jsem viděl hodně složité a zanořené struktury. Pro jejich zpracování může být potřeba pravidel více. Nacpat do jednoho pravidla úplně všechny možnosti např. zanoření bylo komplikované. Nicméně základní zpracování to zjednoduší.

@group_blendingbull

1 Like

:cow: Blending Bull - 13. verze - časy zpracování souborů

2023-12-17T23:00:00Z

Nová verze přinese zrychlení některých typů pravidel, zkrácení výchozího intervalu zpracování dat a v rozhraní nově informaci o tom, jak dlouho trvalo poslední zpracování souboru. Při testech záleželo na počtu pravidel v souboru. Menší soubory trvaly jednotky či desítky sekund. Rozsáhle soubory (stovky MB) trvaly jednotky minut. Blending Bull je tedy rychlý editor datových feedů.

@group_blendingbull

1 Like

:cow: Blending Bull - 14. verze - přepsané uživatelské rozhraní

2024-01-28T23:00:00Z

Nová verze Blending Bulla přinese zcela přepsané rozhraní pro uživatele. Vypadá stejně a změn byste si všimnout neměli. Proč jsme tedy rozhraní přepisovali? Abyste jej mohli používat, až Google Chrome omezí cookies třetích stran, které jsme dříve využívali pro autorizaci.

Nová verze přinese značné změny v aplikaci. Bylo by vhodné zkontrolovat, zda po nasazení novinek, zpracovává í vaše feedy stejně, jako dosud.

@group_blendingbull