Kunstmatige intelligentie is taalbeheersing. Moeten we vertrouwen op wat hij zegt?

“Ik denk dat het ons in staat stelt om meer doordacht en reflectiever te zijn over veiligheidskwesties”, zegt Altman. “Onderdeel van onze strategie is: incrementele verandering in de wereld is beter dan plotselinge verandering.” Of, zoals OpenAI VP Mira Moratti het uitdrukte, toen ik haar vroeg naar het werk van het beveiligingsteam dat de open toegang tot de software beperkt: “Als we gaan leren hoe we deze krachtige technologieën kunnen inzetten, laten we dan beginnen wanneer de inzet erg laag is. .”

Terwijl GPT-3 zelf OpenAI draait op 285.000 CPU-cores in een supercomputercluster in Iowa en opereert vanuit het Mission-gebied van San Francisco, in een opgeknapte bagagefabriek. In november vorig jaar ontmoette ik daar Ilya Sotskefer, in een poging een leek uit te leggen hoe GPT-3 echt werkt.

“Dat is het basisidee van GPT-3”, zei Sotskever aandachtig, voorovergebogen in zijn stoel. Hij heeft een interessante manier om vragen te beantwoorden: een paar valse starts – “Ik kan je een beschrijving geven die ongeveer overeenkomt met de beschrijving waar je om vroeg” – onderbroken door lange meditatieve pauzes, alsof hij het hele antwoord in kaart brengt.

Ten slotte zei hij: “Het basisidee van GPT-3 is een manier om een ​​intuïtief begrip van begrip te relateren aan iets dat mechanisch kan worden gemeten en begrepen, en dat is de taak om het volgende woord in de tekst te voorspellen. Andere vormen van kunstmatige intelligentie proberen informatie over de wereld te coderen: de schaakstrategieën van de grote meesters, de principes van klimatologie. Maar GPT-3-intelligentie, als intelligentie het woord ervoor is, komt van onderop: via het elementaire werkwoord om het volgende woord te voorspellen. Voor GPT-3-training krijgt het model een “prompt” – een paar zinnen of alinea’s tekst uit een krantenartikel, bijvoorbeeld, of een roman of een wetenschappelijk artikel – en vervolgens gevraagd om een ​​lijst met mogelijke woorden voor te stellen die het kan gebruiken. zou de reeks kunnen voltooien, geordend op waarschijnlijkheid. In de vroege stadia van de training zijn de voorgestelde woorden onzin. Vraag het algoritme met een zin als “De schrijver heeft het laatste woord van het eerste woord verwijderd …”” en gissingen zouden een soort onzin zijn: lijst – het juiste ontbrekende woord verschijnt: “paragraaf”. versterkt en verzwakt alle willekeurige neurale verbindingen die die specifieke suggestie genereren Alle verbindingen die onjuiste gissingen hebben gegenereerd, gaat vervolgens naar de volgende router Na verloop van tijd, met voldoende iteraties, leert het programma.

In januari voegde OpenAI een functie toe waarmee gebruikers directe GPT-3-instructies als prompt kunnen geven, in plaats van hen alleen maar te verplichten een voorbeeldtekst uit te breiden. Met behulp van de Help-modus kreeg GPT-3 bijvoorbeeld ooit de prompt: “Schrijf een essay waarin de rol van metafictie in het werk van Italo Calvino wordt besproken.” Een korte alinea die als volgt begon:

De Italiaanse auteur Italo Calvino wordt beschouwd als een expert in metafictie, een type schrijven waarin de auteur de vierde muur doorbreekt om het schrijven zelf te bespreken. Voor Calvino is metafictie een manier om de aard van de werkelijkheid te onderzoeken en de manieren waarop verhalen onze perceptie van de wereld kunnen vormen. Zijn romans bevatten vaak speelse structuren en labyrinten die de grenzen tussen realiteit en fantasie manipuleren. In het geval dat de reiziger zich bijvoorbeeld op een winternacht bevindt, wordt de lezer voortdurend onderbroken door discussies op het metaniveau van het lezen en de aard van het vertellen van verhalen. . . .

Je kunt GPT-3 keer op keer exact dezelfde prompt geven, en elke keer zal het een uniek antwoord opleveren, de een overtuigender dan de ander, maar bijna allemaal opmerkelijk rechttoe rechtaan. Indicatieve aanwijzingen kunnen allerlei vormen aannemen: “Geef me een lijst van alle ingrediënten in Bolognese saus”, “Schrijf een gedicht over een Frans kustplaatsje in John Ashbery-stijl”, “Leg de oerknal uit in taal die een 8-jarige -oud begrijpt het.” De eerste paar keer dat ik dit soort GPT-3-stimuli voedde, voelde ik kippenvel over mijn rug. Het leek bijna onmogelijk voor een machine om zo duidelijke en responsieve tekst te genereren, volledig gebaseerd op initiële training om te voorspellen het volgende woord.

Maar AI heeft een lange geschiedenis van het creëren van de illusie van intelligentie of begrip zonder de goederen daadwerkelijk te leveren. Bij veelbesproken paper De vorig jaar gepubliceerde taalkundeprofessor Emily Bender van de Universiteit van Washington, voormalig Google-onderzoeker Timnit Gebru en een groep co-auteurs verklaarden dat grote taalmodellen gewoon ‘willekeurige papegaaien’ waren: dat wil zeggen, het programma gebruikte randomisatie om zinnen die zijn geschreven door mensen. . Bender vertelde me onlangs via e-mail: “Wat er is veranderd, is niet een stap boven een bepaalde drempel in de richting van ‘kunstmatige intelligentie’. In plaats daarvan, zei ze, zijn ‘hardware, software en economische innovaties die de accumulatie en verwerking van enorme datasets’ — evenals cultuur Technologie die “mensen die dergelijke dingen bouwen en verkopen kunnen hebben” is verre van gebaseerd op onnauwkeurige gegevens.”