Takhle nějak by v budoucnu mohl automatický systém pro odhalování nepravdivých zpráv vypadat:
Princip je jednoduchý: vezmu novinový článek a řeknu AI (v tomto případě Google Bard), aby v článku našel nepravdivé informace,
vysvětlil, proč jsou nepravdivé a udal počet nepravdivých informací nalezených v článku.
Má to ještě spoustu chyb:
• články čte z webových stránek a neumí dobře rozlišit vlastní článek a “okolí” – např. názvy dalších článků
• někdy si “vymýšlí” = hodnotí věci, které v článku nejsou
• jako nepravdu bere I tvrzení, které někdo označí v textu jako citaci nepravdy u jiných: např. “dříve se věřilo, že je země placatá”
• někdy uvede jako nepravdu I tvrzení, které nelze ověřit – např. “Jan Novák tvrdí, že za 20 let vyhraje Wimbledon”
• Občas odmítne článek hodnotit s tím, že je jen jazykový model a nemá na to znalosti
• Je "liberárně demokratický" = viz. např. politické komentáře. Nekritizuji, konstatuji. Není nestranný
• Nějaké další chyby se jistě objeví dále.
Nicméně slouží jako “nestranný rozhodčí” (I když o konkrétním nastavení modelu Bard můžeme vést dalekosáhlé diskuze) a články hodnotí “padni komu padni”
A dle tohoto “rozhodčího” a dostatečného počtu článků lze již dělat nějaké závěry – viz hodnotící grafy dále.
Proč Bard
Tento jazykový model jsem zvolil proto, že jako jediný umí pracovat s aktuálními daty.
Např. ChatGPT má “horizont událostí” cca na konci roku 2022 – čili pro hodnocení většiny článků popisujících aktuální dění je nepoužitelný
Jak to funguje
Z vybraných RSS kanálů se ukládají nové články do databáze a z té je postupně vybírá a hodnotí Bard.
Bard hodnotí text, kde je zkombinován titulek článku, popis z RSS kanálu a vlastní článek z webu.
Tento postup byl zvolen neb někdy je podstatnou částí článku video a to ještě Bard evaluovat neumí :)
Co dál?
Uvidíme ... Chtěl bych přidat i zprávy zahraniční - zkoušel jsem CNN a BBC, ale velmi překvapivě byly výsledky takřka nepoužitelné.
Budu zkoušet dále - zkusím německy psané tituly a uvidíme ...
Zkusím také články pomocí AI zařadit do kategorií a zkoumat, kde se, ve kterých kategoriích se nejvíce "lže"...
Pokud máte nějaké nápady a připomínky - napište mi! |