Starosta New Yorku využívá AI k telefonátům občanům v jazycích, kterými nemluví. Je to v pořádku?

Starosta New Yorku, Eric Adams. Zdroj: YouTube / NYC Mayor's Office

Přednahrané telefonické vzkazy politiků potenciálním voličům nejsou nic nového. V Česku před volbami do Poslanecké sněmovny v roce 2022 takto volal Václav Klaus do 1,5 milionu domácností. Starosta New Yorku, Eric Adams, využívá nově mimo služby „MyCity Chatbot“ i telefonáty k informování o tom, co dělá město. Více než daný fakt ovšem vyvolalo kontroverzi, že tyto vzkazy byly dělány také s jeho AI trénovaným hlasem v jazycích, které neovládá.

Adams to prozradil na konferenci, kde uvedení MyCity Chatbota oznámil. „Konverzační umělá inteligence je úžasná, jakmile zadáte scénář, můžete ho mým hlasem převést do jakéhokoli jazyka,“ neskrýval tento fanoušek do technologií a bývalý programátor své nadšení. K převodu byla přitom využita technologie AI Startupu Elevenlabs.

Mluvčí starosty uvedl, že prostřednictvím robotických hovorů oslovili více než 4 miliony Newyorčanů a vyslali tisíce hovorů ve španělštině, více než 250 v jidiš, více než 160 v mandarínštině, 89 hovorů v kantonštině a 23 v haitské kreolštině. Byly například o propagaci možnosti pronajmout si městské sály a také upozorňovaly na koncerty vzniklé s podporou města nazvané Rise Up NYC.

Poslechněte si ukázku jednoho z těchto telefonátů ve španělštině.

A poté Adamsův hlas v jeho rodné řeči, kterou jako jedinou skutečně ovládá. Upozorňujeme, že se jedná o nedávný veřejný proslov o válce na území Izraele, nikoliv o výše zmíněný telefonát. Míra emocí v něm je tak na jiné úrovni. 

 V obou verzích je ale barva hlasu totožná, že? 

Je na tom něco špatně?

Město New York má ve svých stanovách povinnost uvádět svá oficiální stanoviska nejen v angličtině, ale také v řadě dalších jazyků, kterými mluví velká část obyvatel „velkého jablka“. Pozitivní pohled na věc pak může vidět přednahrané telefonáty v několika jazycích jako obdobu městského rozhlasu ve verzích, kterým bude rozumět co největší počet lidí.

Překládají městské nástěnky do více jazyků, tak proč by na tomto mělo být něco špatného?

Silně negativní stanovisko zastává například ředitel organizace Surveillance Technology Oversight Project, Albert Fox Cahn, který v tiskové zprávě uvedl:

„Starosta dělá deep fake sám sebe. Je to hluboce neetické, zejména za peníze daňových poplatníků. Využívání umělé inteligence k přesvědčování Newyorčanů, že mluví jazyky, které neovládá, je přímo orwellovské. Ano, potřebujeme oznámení ve všech rodných jazycích Newyorčanů, ale deep fakes jsou jen děsivým marnivým projektem."

 

Naráží přitom na to, že politik si vlastně nahání body tím, že o sobě šíří falešný dojem někoho, kdo rozumí menšinám, a to v doslovném významu. Ostatně sám starosta Adams si na zmíněné tiskové konferenci pochvaloval, jak si při setkání se zástupci menšin tváří v tvář například vyslechl pochvalu, že nevěděli, že mluví mandarínštinou.

Legislativa si s AI voiceboty zatím neví rady

Technologie umožňující voicebotům mluvit jiným jazykem je tu dlouho, teprve v posledních měsících se ale posunuje na úroveň, kdy je robotický původ hlasu obtížně odhalitelný. S tím se samozřejmě zvyšuje nebezpečí podvodů různých druhů.

Představte si krátký telefonát nebo dokonce video hovor s vaším šéfem, jenž vám zadá poněkud zvláštní úkol. Budete ho zpochybňovat s mnohem menší pravděpodobností, než kdyby šlo o další e-mail scam. Přesně takového scénáře se obávají odborníci na kyberbezpečnost. Nejde totiž o nic, co by se nepodařilo i s mnohem méně vyvinutou technologií. Bloomberg například upozorňuje na případ z roku 2019, kdy převedl CEO britského poskytovatele energie 220 000 eur (cca 4,9 milionu korun) podvodníkovi poté, co mu zavolal člověk, který zněl jako šéf německé mateřské společnosti, a požádal ho, aby převedl peníze maďarskému dodavateli. Hlas byl generován pomocí umělé inteligence.

Jednalo se o podvod, který postihují i současné zákony. Zdá se ale, že potřebujeme pravidla i pro situace problematické spíše v etické rovině, jako je ta se starostou Adamsem, ale i pro používání voicebotů ve firemní komunikaci. Předpokládáme, že se nová legislativa bude ubírat tím směrem, že by lidé měli vždy vědět, jestli mluví se živým člověkem, nebo s voicebotem.

V české vysoce homogenní společnosti asi politici nebudou trénovat AI modely k tomu, aby promlouvaly k obyvatelům ve více jazycích jejich hlasem. Zneužívání exekutivní role k sebepropagaci za peníze daňových poplatníků je nicméně diskutovaným tématem už na úrovni obcí, které mají povinné své „radniční listy“.

Představte si k tomu, že starostové (respektive jejich AI hlasové klony) budou své občany ještě „navolávat“. Představte si „Čau lidi“, kterému neutečete. Nebylo by to poprvé. Zmíněný telefonický vzkaz Václava Klause z roku 2002 nešel vypnout. I když jste telefonát položili, robo Klaus se ozýval ze sluchátka dál, dokud si neřekl to své. Více než 20 let poté jsou možnosti AI voicebotů ještě mnohem širší. I z toho důvodu by legislativa omezující využití AI měla pamatovat také na hlasovou komunikaci politiků s pomocí jejich klonů. 

 

Tip redakce

Zdroj: Jesse Wellens / YouTube

Jen 2 minuty videozáběrů na to, jak mluvíte, a váš klon v podobě AI video avatara se může začít připravovat. Nový AI software HeyGen s sebou nese příslib násobného zmenšení nákladů na videoprodukci „mluvících hlav", exponenciální nárůst youtuberů, ale i kyberkriminality využívající video scamy. 

Přečtěte si více v článku Váš video avatar naklonovaný AI čeká.