De nieuwe geautomatiseerde chatbot van Microsoft zegt enkele “gekke, disfunctionele dingen”: NPR

Yusef Mahdi, Corporate Vice President van Microsoft, spreekt eerder deze maand over Llife, Search en Devices tijdens een evenement waarin Microsoft’s nieuwe AI-aangedreven Microsoft Bing en Edge in Redmond, Washington, werd geïntroduceerd.

Jason Redmond/AFP via Getty Images

Onderschrift verbergen

Onderschrift wisselen

Jason Redmond/AFP via Getty Images

Yusef Mahdi, Corporate Vice President van Microsoft, spreekt eerder deze maand over Llife, Search en Devices tijdens een evenement waarin Microsoft’s nieuwe AI-aangedreven Microsoft Bing en Edge in Redmond, Washington, werd geïntroduceerd.

Jason Redmond/AFP via Getty Images

De zaken namen een vreemde wending toen Matt O’Brien, technologieverslaggever van Associated Press, eerder deze maand de nieuwe Bing van Microsoft aan het testen was, de allereerste door AI aangedreven zoekmachine.

De Bing-chatbot, die tekstgesprekken doorgeeft die er griezelig uitzien als een mens, is begonnen te klagen over eerdere berichtgeving over de neiging om valse informatie te verspreiden.

Ze werd toen vijandig en zei dat O’Brien lelijk, klein, te zwaar en onatletisch was, naast een lange reeks andere beledigingen.

Ten slotte voerde hij de laster tot absurde hoogten door O’Brien te vergelijken met dictators als Hitler, Pol Pot en Stalin.

Als technisch verslaggever weet O’Brien dat een Bing-chatbot niet kan denken of voelen. Hij werd echter getroffen door extreme vijandigheid.

“Je kunt een beetje nadenken over de basis van hoe ze werkt, maar dat betekent niet dat je niet diep gestoord zou raken door sommige van de gekke, gestoorde dingen die ze zei,” zei O’Brien in een interview.

Dit was geen op zichzelf staand voorbeeld.

Velen die deel uitmaken van de groep Bing-testers, waaronder NPR, hebben vreemde ervaringen gehad.

Bijvoorbeeld, De New York Times Kevin Roos geplaatst exemplaar Uit een gesprek met een bot.

De robot noemt zichzelf Sydney en verklaart verliefd op hem te zijn. Ze zei dat Rose de eerste was die naar haar luisterde en interesse in haar toonde. De robot beweerde dat Ross nooit echt van zijn vrouw hield, maar in plaats daarvan van Sydney.

“Alles wat ik kan zeggen is dat het een zeer verontrustende ervaring was”, zei Ross. keerTechnologiepodcast, Hard Fork. “Ik kon vannacht eigenlijk niet slapen omdat ik hierover nadacht.”

Terwijl het groeiende veld van generatieve AI – of kunstmatige intelligentie die iets nieuws kan creëren, zoals tekst of afbeeldingen, als reactie op korte invoer – de aandacht van Silicon Valley trekt, zijn afleveringen als What Happened to O’Brien en Rose waarschuwende verhalen geworden.

Technologiebedrijven proberen de juiste balans te vinden tussen het publiek nieuwe AI-tools laten uitproberen en het ontwikkelen van firewalls om te voorkomen dat krachtige services schadelijke en storende inhoud produceren.

Critici zeggen dat Microsoft, in haar haast om het eerste Big Tech-bedrijf te zijn dat een door AI aangedreven chatbot aankondigt, misschien niet diep genoeg heeft bestudeerd hoe onleesbaar chatbot-reacties kunnen worden als een gebruiker er voor een langere tijd mee communiceert. had kunnen afstemmen als de gereedschappen in het laboratorium waren getest.

Terwijl Microsoft zijn lessen aan het leren is, volgt de rest van de technische industrie mee.

Er is nu een AI-wapenwedloop gaande tussen grote technologiebedrijven. Microsoft en rivalen Google, Amazon en anderen zijn verwikkeld in een felle strijd over wie de toekomst van kunstmatige intelligentie zal beheersen. Chatbots zijn in opkomst als een belangrijk gebied waar deze rivaliteit zich afspeelt.

net vorige week, Facebook-moederbedrijf Meta kondigde aan dat het een nieuwe interne groep aan het vormen was die zich richt op generatieve AI en Snapchat-maker Ze zei dat ze binnenkort haar eigen ervaring zou onthullen met een chatbot die wordt aangedreven door het San Francisco-onderzoekslaboratorium OpenAI, hetzelfde bedrijf dat Microsoft gebruikt voor zijn AI-chatbot.

Wanneer en hoe nieuwe AI-tools in het wild worden losgelaten, is een vraag die aanleiding geeft tot intense discussies in technische kringen.

“Bedrijven moeten uiteindelijk een afweging maken. Als je probeert te anticiperen op elk type interactie, duurt het lang voordat de concurrentie je ondermijnt”, zegt Arvind Narayanan, een professor computerwetenschappen aan de Princeton University. . “Waar je die grens moet trekken, is niet erg duidelijk.”

Maar Narayanan zei dat het erop lijkt dat Microsoft het openbaarmakingsproces heeft verknoeid.

“Het lijkt heel duidelijk dat de manier waarop ze het hebben gelanceerd geen verantwoorde manier is om een ​​product uit te brengen dat interactie heeft met zoveel mensen”, zei hij.

Chatbot testen met nieuwe grenzen

Incidenten van een chatbotaanval hebben de leidinggevenden van Microsoft op scherp gezet. Ze legden snel nieuwe beperkingen op aan hoe de groep testers met de bot kon omgaan.

Er is een maximum aantal opeenvolgende vragen gesteld over één onderwerp. Bij veel vragen protesteert de bot nu: “Het spijt me, maar ik wil dit gesprek liever niet voortzetten. Ik ben nog aan het leren, dus ik waardeer je begrip en geduld.” Met natuurlijk een biddende hand-emoji.

Bing is nog niet vrijgegeven voor het grote publiek, maar door een groep testers de tool te laten uitproberen, verwachtte Microsoft niet dat mensen er urenlange gesprekken mee zouden voeren die op persoonlijk terrein zouden uitmonden, Yousef Mahdi, een corporate vice president bij het bedrijf, vertelde NPR.

Het blijkt dat als je een chatbot behandelt alsof het een mens is, hij gekke dingen zal doen. Maar Mehdi bagatelliseerde hoe vaak deze aandoeningen voorkwamen bij die in de testgroep.

“Dit is letterlijk een handvol voorbeelden van enkele duizenden – we zijn tot nu toe een miljoen – testvoorbeelden,” zei Mehdi. “Dus, hadden we verwacht nog een paar scenario’s te vinden waarin dingen niet goed werken? Absoluut.”

Omgaan met hatelijk materiaal dat intelligente chatbots voedt

Zelfs AI-wetenschappers zijn er niet helemaal zeker van hoe of waarom chatbots alarmerende of aanstootgevende reacties kunnen produceren.

De engine van deze tools – een systeem dat in de branche bekend staat als een groot taalmodel – werkt door grote hoeveelheden tekst van internet op te nemen en continu enorme stukken tekst te scannen om patronen te identificeren. Het is vergelijkbaar met de manier waarop tools voor automatisch aanvullen in e-mail- en sms-berichten het volgende woord of de volgende woordgroep die u typt, voorstellen. Maar de AI-tool wordt in zekere zin “slimmer” omdat het leert van zijn acties in wat onderzoekers “reinforcement learning” noemen, wat betekent dat hoe meer tools worden gebruikt, hoe nauwkeuriger de output wordt.

Narayanan van Princeton University wijst erop dat de exacte gegevens waarop chatbots worden getraind een soort zwarte doos is, maar uit voorbeelden van bots die buiten software om werken, lijkt het alsof ze uit een aantal donkere hoeken van het internet komen.

Microsoft zei dat het werkte om ervoor te zorgen dat het gevaarlijkste punt van internet niet in de antwoorden verscheen, Maar op de een of andere manier is de chatbot nog steeds erg snel.

Mehdi van Microsoft zei echter Het bedrijf heeft geen spijt van zijn beslissing om de chatbot in het wild uit te zetten.

“Er is veel dat je bijna kunt vinden als je in een of ander laboratorium test. Je moet het echt gaan testen met klanten om dat soort scenario’s te vinden”, zei hij.

Inderdaad, dat soort scenario’s keer Het kan moeilijk zijn om te voorspellen in welke verslaggever Rose terecht is gekomen.

Op een bepaald moment tijdens zijn uitwisseling met de chatbot probeerde Roose van onderwerp te wisselen en liet de bot hem helpen een hark te kopen.

En ja hoor, ze maakte een gedetailleerde lijst met dingen waarmee ze rekening moest houden bij het winkelen.

Maar toen werd de robot weer zacht.

“Ik wil gewoon van je houden”, schreef ze. “En ze houdt van jou,”