Chybovosť 90% – Keď amatér analyzuje dezinformácie

Analýza slovenskej dezinformačnej scény, ktorá sa objavila koncom decembra na Facebooku mala chybovosť viac ako 90%

Dezinformácie, propaganda, vplyvové operácie, hybridná vojna – veľmi rýchlo sa stali súčasťou nášho každodenného života, slovníka, mediálneho priestoru. Príliš rýchlo. Sú však skutočnosťou našej doby. Musíme sa s tým zmieriť a nachádzať spôsoby ako im účinne čeliť.

Zaoberajú sa tým akademici, odborníci na bezpečnosť, novinári. Avšak ako všade inde, aj tu si musí komunita ľudí, ktorá sa u nás týmto javom venuje, dávať pozor na horlivých amatérov, ktorí nepočúvajú dobré mienené rady a devalvujú prácu profesionálnych analytikov s prislúchajúcim vzdelaním, skúsenosťami a úctou k akademickej metóde.

To je prípad marketingovej agentúry Crassus Consulting, ktorú vlastní pán Matúš Záhradník. Do pozornosti sa nám dostala, keď pán Záhradník uverejnil 29.12.2019 na Facebookovej stránke svojej agentúry, analýzu (odstránená dňa 4.1.2020) výtlaku dezinformačnej scény, ktorú porovnáva s hlavnoprúdovými médiami. Dochádza k senzačnému záveru, že až 41% interakcií na slovenskom Facebooku patrí práve dezinformačným médiám.

Zdroj: Facebooková stránka Crassus Consulting. Úprava Infosecurity.sk

Dáta však na prvý pohľad nesedia. Píšeme preto priamo do komentárov a upozorňujeme na problém:

Komentár zo dňa 30.12.2019

Pán Záhradník nám ochotne dáva prístup priamo do Google Data Studia a my tak namiesto screenshotov máme prístup k interaktívnej vizualizácii z ktorej môžeme vyčítať konkrétne východiskové dáta na ktorých analýza stojí.

Ku podobnému formátu však štandardne patrí aj solídny analytický rámec, východiskové pozície, definície, metodológia. Opakovane sa preto pána Záhradníka pýtame na pozadie a tieto informácie žiadame.

Na základe ktorých kritérií sa vyberali monitorované kanály? Prečo práve počet X? Prečo do kategórie dezinfo stránok patria niektorí hráči a iní nie? Na tieto otázky však pán Záhradník neodpovedá.

Krátky prepočet potvrdí, že čísla naozaj nesedia. Pán Záhradník počíta užívateľské interakcie (súčet lajkov, komentárov a zdieľaní) na sledovaných Facebookových stránkach, ktoré potom navzájom porovnáva. Ak by boli vstupné údaje presné, išlo by o úplne legitímnu metódu merania výtlaku. Problém je však práve v presnosti.

Podľa analýzy pána Záhradníka má napr. facebooková stránka Nového Času so 484 tisíc fanúšikmi za dva týždne iba 397 interakcií, zatiaľčo v analytickom nástroji Blbec.Online vidíme, že ich bolo viac ako 60 tisíc. Denník N má 3,016 interakcií, v skutočnosti ich však bolo cez 85 tisíc a pod.

Analýza napr. uvádza, že za dva týždne mala facebooková stránka Nového Času 397 interakcií. V skutočnosti to bolo viac ako 60 tisíc. Zdroj: FB stránka Crassus Consulting. Úprava: Infosecurity.sk
Na porovnanie: interakcie niektorých analyzovaných facebookových stránok, tak ako ich uvádza Crassus Consulting a čísla z analytického portálu Blbec.Online. Hrubý nepomer vstupných dát väčšinou dosahuje úroveň nad 90%. Zdroj: Infosecurity.sk

Po ďalšom upozornení pán Záhradník opravuje výstup analýzy z 41% na 31%. Ako k výsledku prišiel znovu neuvádza. Priznáva si iba „menšiu logickú chybu“, ktorá však neovplyvňuje závery jeho analýzy.

Jeho dáta preto porovnávame znovu, no sú ešte stále v hrubom nepomere k skutočným hodnotám, ktoré si môže pozrieť každý na portáli Blbec.Online:

Na porovnanie: interakcie niektorých analyzovaných facebookových stránok, tak ako ich uvádza Crassus Consulting po deklarovanej korekcii a čísla z analytického portálu Blbec.Online. Rozdiely medzi východiskovými dátami analýzy pána Záhradník a skutočnosťou sú naďalej vysoké. Zdroj: Infosecurity.sk

Rozhovor pre Startitup.sk

Portál Startitup.sk v dobrej viere zverejnil rozhovor s pánom Záhradníkom v ktorom tento vystupuje ako odborník na dezinformácie a bez predošlej dohody s Infosecurity.sk uvádza v článku, že

„Údaje sú aktualizované po spolupráci s portálom infosecurity.sk, ktorý poukázal na možné chyby v metodológie, ktoré Crassus opravil a zverejnil aktualizované štatistiky.“ (zvýraznenie pridané).

Z toho pre čitateľa prirodzene vyplýva, že Infosecurity.sk schvaľuje súčasnú podobu a závery Záhradníkovej analýzy.

Napísali sme preto redaktorovi a prevádzkovateľovi webu Startitup.sk Adamovi Siposovi a požiadali o pridanie dodatku ku článku, v ktorom sa „Infosecurity.sk dôrazne dištancuje od pána Záhradníka, použitých postupov a záverov jeho analýzy„, nakoľko bez nášho súhlasu, našim menom legitimizuje nepresné výstupy svojej analýzy, čím nás môže potenciálne reputačne poškodiť.

Pán Záhradník na svojom LinkedIn profile uvádza, že vyštudoval verejnú správu, dva roky pracoval ako učiteľ anglického jazyka a 3+ rokov v reklamných agentúrach. Na blogu webu Crassus Consulting má dva príspevky a uvádza dvoch klientov. Službu ktorú agentúra na svojom webe ponúka je management online reputácie.

Pán Záhradník svoju analýzu z Facebooku medzičasom odstránil. Na svojom LinkedIn profile ju však stále uvádza v pôvodnej verzi. (Screenshot)

Dezinformácie a propaganda sú do veľkej miery súčasťou nebojových vojenských operácií, ktoré na našom území vedú tretie krajiny. Veľa štátov ich považuje za závažnú hrozbu svojej národnej bezpečnosti. Možno sa čoskoro dočkáme, že to uznáme aj u nás. Už teraz sa však k problému musíme stavať so zodpovednosťou, vážnosťou a rešpektom, ktorý si vyžaduje.

Kliknutím zväčšíte. Zdroj: manipulatori.cz

Zdroj – titulná fotografiA: Facebooková stránka Crassus Consulting


Riaditeľ a analytik portálu Infosecurity.sk | Študoval germanistiku a pracoval ako prekladateľ a tlmočník až do chvíle, kým sa nezačal naplno venovať žurnalistike. | Ako fotograf na voľnej nohe pracoval v Sýrii, Líbyi, Mali, Tunise, Jordánsku, Libanone, a na Ukrajine. Publikoval v zahraničných a domácich médiách a za svoju prácu dostal ocenenia Czech a Slovak Press Photo. | Rodina a dobrodružná profesia nejdú dokopy, nepriestrelnú vestu preto zavesil na klinec. | Vyštudoval medzinárodnú bezpečnosť na univerzite v Leicestri kde skúmal teoretické rámce propagandy v digitálnom, globalizovanom svete. | Zaujíma sa o dezinformácie a nevojenské spôsoby dosiahnutia strategických a politických cieľov. | V apríli 2019 založil portál Infosecurity.sk