OpenAI kiest voor een nieuwe aanpak om “hallucinerende” kunstmatige intelligentie te bestrijden

Sam Altman, CEO van OpenAI, arriveert op donderdag 4 mei 2023 in Washington in het Witte Huis voor een ontmoeting met vice-president Kamala Harris op AI.

Evan Fauci | AP

OpenAI kondigde woensdag aan dat het hallucinaties op zich neemt tegen kunstmatige intelligentie, door een nieuwe methode te gebruiken om AI-modellen te trainen.

Het onderzoek komt op een moment dat verkeerde informatie afkomstig van AI-systemen controversiëler is dan ooit, te midden van de generatieve AI-boom en de aanloop naar de Amerikaanse presidentsverkiezingen van 2024. OpenAI versnelde de generatieve AI-boom vorig jaar toen het ChatGPT uitbracht, zijn privé chatbot Het wordt ondersteund door GPT-3 en GPT-4, heeft in twee maanden tijd meer dan 100 miljoen maandelijkse gebruikers bereikt en zou een record vestigen voor de snelst groeiende applicatie. Tot op heden heeft Microsoft meer dan $ 13 miljard geïnvesteerd in OpenAI en de start-up is gewaardeerd op bijna $ 29 miljard.

AI-hallucinaties treden op wanneer modellen zoals OpenAI’s ChatGPT of Google Bard informatie volledig fabriceren en zich gedragen alsof ze feiten publiceren. Een voorbeeld: in de promotievideo van Google voor Bard in februari doet de chatbot een Ongeldige claim Over de James Webb-ruimtetelescoop. Meer recentelijk haalde ChatGPT “nep”-zaken aan in een dossier van een federale rechtbank in New York, en de betrokken advocaten in New York zouden gestraft kunnen worden.

“Zelfs moderne modellen hebben de neiging onwaarheden te produceren – ze tonen de neiging om feiten te verzinnen in momenten van onzekerheid”, schreven de OpenAI-onderzoekers in het rapport. “Deze hallucinaties zijn met name problematisch in gebieden die meerstapsdenken vereisen, omdat een enkele logische fout voldoende is om een ​​veel grotere oplossing te laten ontsporen.”

De potentiële nieuwe strategie van OpenAI voor het bestrijden van beledigingen: train AI-modellen om zichzelf te belonen voor elke juiste individuele redeneerstap wanneer ze tot een antwoord komen, in plaats van simpelweg het juiste eindresultaat te belonen. Deze benadering wordt ‘procesbeheer’ genoemd in plaats van ‘resultaatbeheer’ en zou volgens de onderzoekers kunnen leiden tot beter interpreteerbare AI, aangezien de strategie modellen aanmoedigt om een ​​keten van mensachtige ‘gedachten’ te volgen.

“Het detecteren en verminderen van logische fouten of hallucinaties in een model is een cruciale stap in de richting van het bouwen van conforme AI.” [or artificial general intelligence], “vertelde Carl Kopp, een wiskundige bij OpenAI, aan CNBC en merkte op dat hoewel OpenAI de procesmoderatiebenadering niet heeft uitgevonden, het bedrijf helpt om het vooruit te helpen. De aanleiding voor dit onderzoek is om hallucinaties aan te pakken om modellen te maken die beter in staat zijn moeilijke denkproblemen op te lossen.”

Cobb zei dat OpenAI een begeleidende dataset van 800.000 menselijke labels heeft vrijgegeven die het gebruikte om het in de paper genoemde model te trainen.

Ben Winters, een senior adviseur bij het Electronic Privacy Information Center en projectleider voor AI en mensenrechten, sprak zijn scepsis uit en vertelde CNBC dat hij geïnteresseerd zou zijn in de volledige dataset en bijbehorende voorbeelden.

“Ik denk niet dat dit alleen de zorgen over verkeerde informatie en onjuiste resultaten aanzienlijk wegneemt… wanneer het daadwerkelijk in het wild wordt gebruikt,” zei Winters. Hij voegde eraan toe: “Het is zeker belangrijk of ze van plan zijn om wat ze door hun onderzoek vinden hier te implementeren [into their products]En als ze dat niet zijn, roept dat nogal serieuze vragen op over wat ze bereid zijn openbaar te maken.”

Aangezien het niet duidelijk is of de OpenAI-paper door vakgenoten is beoordeeld of in een ander formaat is beoordeeld, vertelde Suresh Venkatasubramanian, directeur van het Center for Technical Responsibility aan de Brown University, aan CNBC dat hij het onderzoek meer als voorlopige observatie dan iets anders beschouwt.

“Dit zal een verandering in de onderzoeksgemeenschap nodig hebben voordat we hier iets definitiefs over kunnen zeggen,” zei Venkatasubramanian. “In deze wereld zijn er veel uitkomsten die heel regelmatig naar voren komen, en vanwege een algemene instabiliteit in hoe grote taalmodellen werken, werkt wat in de ene setting, paradigma en context zou kunnen werken niet in een andere setting, paradigma, en context.”

Venkatasubramanian voegde eraan toe: “Sommige van de hallucinogene dingen waar mensen zich zorgen over maken, zijn dat wel [models] Configureer citaties en referenties. Er is geen bewijs in dit artikel dat dit daarvoor zal werken… Ik zeg niet dat het niet zal werken; Ik zeg dat dit document dat bewijs niet levert.”

OpenAI reageerde niet op een verzoek om commentaar met de vraag of het onderzoek in welke hoedanigheid dan ook extern is beoordeeld, of wanneer het bedrijf van plan is de nieuwe strategie in ChatGPT en zijn andere producten te implementeren.

“Het is zeker interessant om te zien dat bedrijven de ontwikkeling van hun systemen proberen te manipuleren om te proberen dit soort fouten te verminderen – ik denk dat de sleutel is om dat te interpreteren als gezamenlijk onderzoek, gezien de vele barrières die er zijn voor diepere vormen van verantwoording”, zei hij. Sarah Myers-West, algemeen directeur van het AI Now Institute, tegen CNBC.

West heeft toegevoegd,[OpenAI is] Bij dit artikel is een kleine dataset met feedback op menselijk niveau vrijgegeven, maar deze bevatte geen belangrijke details over de gegevens die werden gebruikt om GPT-4 te trainen en te testen. Er blijft dus een enorme hoeveelheid ondoorzichtigheid die elke zinvolle AI-verantwoordingsinspanning uitdaagt, ook al hebben deze systemen al rechtstreekse gevolgen voor mensen.