Experiment ukázal na velké slabiny a rizika některých současných velkých jazykových modelů. Neumí rozpoznat vědeckou autenticitu publikovaných textů.
Vědecký časopis Nature publikoval výsledky experimentu, při němž vědci záměrně vytvořili zcela smyšlenou nemoc nazvanou bixonimanie a publikovali o ní několik očividně falešných vědeckých studií.
Přestože šlo o transparentní podvrh, některé současné AI chatboty začaly tuto nemoc prezentovat jako skutečnou a varovaly uživatele před jejími údajnými riziky. Během několika týdnů poté, co se zveřejnila informace o této nemoci, které připsala fiktivnímu autorovi, začaly totiž hlavní systémy umělé inteligence tuto vymyšlenou nemoc opakovat, jako by byla skutečná.
Ještě znepokojivější, že falešné články byly později citovány v recenzované literatuře. Výzkumnice Osmanovic Thunström, která experiment vedla, říká, že to naznačuje, že někteří výzkumníci se spoléhají na odkazy generované umělou inteligencí, aniž by si přečetli původní články.
Autoři studie prostřednictvím experimentu ukazují, že jazykové modely mají tendenci přebírat informace z textů, které vypadají vědecky, aniž by dokázaly posoudit jejich pravost nebo kvalitu.
Výzkumníci chtěli upozornit na to, jak snadno mohou být AI systémy zmanipulovány neexistujícími daty a jak rychle se pak takové omyly mohou šířit mezi uživateli.
Článek časopisu Nature zároveň zdůrazňuje, že podobné experimenty odhalují slabiny současných modelů a potřebu vyvíjet robustnější mechanismy pro ověřování faktů a rozpoznávání podvodného obsahu.
Články zveřejněné v rubrice Trendy nemusejí vyjadřovat názor redakce.