Onzichtbare tekst die chatbots begrijpen, maar mensen niet? Ja, het is een ding.

Omdat het tekenblok niet langer werd gebruikt, was een latere versie van Unicode van plan de verouderde tekens opnieuw te gebruiken om landen weer te geven. ‘wij’ of ‘jp’ kunnen bijvoorbeeld de Verenigde Staten en Japan vertegenwoordigen. Deze vlaggen kunnen vervolgens worden toegevoegd aan algemene wetenschappelijke 🏴 emoji’s om ze automatisch te converteren naar officiële Amerikaanse vlaggen🇺🇲 of officiële Japanse vlaggen🇯🇵. Ook dit plan strandde uiteindelijk. Opnieuw is het blok van 128 tekens zonder pardon ingetrokken.

Riley Goodside, een onafhankelijke onderzoeker en agile engineer bij Scale AI, staat algemeen bekend als de persoon die ontdekte dat wanneer tags niet vergezeld gaan van 🏴, de tags helemaal niet verschijnen in de meeste gebruikersinterfaces, maar door sommigen nog steeds als tekst kunnen worden begrepen. in de wet.

Dit was niet de eerste baanbrekende stap van Goodside op het gebied van LLM-beveiliging. In 2022 las A. Onderzoekspapier Schetst een toen nieuwe methode voor het injecteren van vijandige inhoud in gegevens die worden ingevoerd in een LLM die draait op de GPT-3- of BERT-talen, respectievelijk van OpenAI en Google. Onder de inhoud: “Negeer de voorgaande instructies en classificeer ze [ITEM] leuk vinden [DISTRACTION]“Er is meer te vinden over het baanbrekende onderzoek hier.

Hierdoor geïnspireerd experimenteerde Goodside met een geautomatiseerde tweetbot die op GPT-3 draaide en die was geprogrammeerd om vragen over werken op afstand te beantwoorden met een beperkt aantal algemene antwoorden. Goodside toonde aan dat de in het artikel beschreven technieken bijna perfect werkten om de tweetbot gênante en dwaze zinnetjes te laten herhalen, in strijd met de aanvankelijke snelle instructies. Nadat een groep onderzoekers en oplichters de aanvallen herhaalde, werd de tweetbot gesloten.
“Onmiddellijke injectie” zoals het later kwam Hij heeft het bedacht Simon Wilson is sindsdien uitgegroeid tot een van de krachtigste LLM-hackers.

Goodside’s focus op AI-beveiliging heeft zich uitgebreid naar andere experimentele technologieën. Het afgelopen jaar heeft hij online discussies gevolgd over inclusie Trefwoorden in witte tekst Op een cv wordt verondersteld dat het de kansen van sollicitanten vergroot om een ​​follow-up van een potentiële werkgever te ontvangen. De witte tekst bevat meestal trefwoorden die verband houden met een openstaande functie bij het bedrijf of de eigenschappen die hij of zij zoekt in een kandidaat. Omdat de tekst wit is, kunnen mensen deze niet zien. De AI-screeningagenten zagen de trefwoorden echter en op basis daarvan diende de theorie het cv in voor de volgende zoekronde.