Die brief die uw dokter u heeft gestuurd? Misschien is het gemaakt door kunstmatige intelligentie

Elke dag sturen patiënten honderdduizenden berichten naar hun artsen via MyChart, een communicatieplatform dat in bijna elk Amerikaans ziekenhuis te vinden is.

Ze beschrijven hun pijn, onthullen hun symptomen – de textuur van de uitslag, de kleur van de ontlasting – en vertrouwen de dokter aan de andere kant. Om ze te adviseren.

Maar steeds vaker is het niet langer de arts die de antwoorden op deze brieven schrijft – althans niet helemaal. Ongeveer 15.000 artsen en assistenten in meer dan 150 gezondheidszorgsystemen gebruiken een nieuwe kunstmatige intelligentie-functie in MyChart om reacties op dergelijke berichten te formuleren.

Veel patiënten die deze antwoorden ontvangen, realiseren zich niet dat ze met behulp van kunstmatige intelligentie zijn geschreven. In interviews erkenden functionarissen van verschillende gezondheidszorgsystemen die MyChart gebruiken dat ze niet onthullen dat berichten door AI gegenereerde inhoud bevatten.

Deze trend baart sommige deskundigen zorgen, die vrezen dat artsen mogelijk niet waakzaam genoeg zijn om potentieel gevaarlijke fouten op te sporen in medisch belangrijke berichten die door kunstmatige intelligentie zijn opgesteld.

In een sector die op grote schaal kunstmatige intelligentie heeft gebruikt om administratieve taken uit te voeren, zoals het samenvatten van afspraaknotities of het aanvechten van verzekeringsweigeringen, vrezen critici dat de wijdverbreide adoptie van de MyChart-tool ervoor heeft gezorgd dat kunstmatige intelligentie de klinische besluitvorming en de arts-patiëntrelaties heeft verstoord.

De tool kan inderdaad worden geïnstrueerd om met de stem van een specifieke arts te schrijven, maar formuleert niet altijd de juiste antwoorden.

“Het doel was om tijd voor hen vrij te maken, zodat ze meer tijd konden besteden aan het praten met patiënten”, zegt Athmiya Jayaram, onderzoeker bij het Hastings Center, een onderzoeksinstituut voor bio-ethiek in Garrison, New York.

“In dit geval proberen ze tijd te besparen door met patiënten te praten met behulp van generatieve AI.”

Tijdens het hoogtepunt van de pandemie, toen persoonlijke afspraken vaak voorbehouden waren aan de ziekste patiënten, wendden velen zich tot MyChart-berichten als een zeldzame directe communicatielijn met hun artsen.

Zorgverleners beseften pas jaren later dat ze een probleem hadden: zelfs nadat de meeste aspecten van de gezondheidszorg weer normaal waren geworden, werden ze nog steeds overspoeld met berichten van patiënten.

Doktoren die toch al overbelast waren, besteedden plotseling hun lunchpauzes en avonden aan het beantwoorden van brieven van patiënten. Ziekenhuisleiders vreesden dat als ze geen manier zouden vinden om te bezuinigen op dit extra werk – dat vaak niet factureerbaar was – brieven van patiënten een belangrijke oorzaak van burn-out bij artsen zouden kunnen worden.

Dus toen Epic, de softwaregigant die de MyChart-app ontwikkelde, begin 2023 een nieuwe tool begon aan te bieden die kunstmatige intelligentie gebruikt om reacties te genereren, wilden enkele van de grootste academische medische centra van het land deze graag adopteren.

In plaats van dat elk bericht met een leeg scherm begint, ziet de arts automatisch een antwoord gegenereerd op de vraag van de patiënt. Het antwoord wordt gegenereerd met behulp van een versie van GPT-4 (de onderliggende technologie van ChatGPT) die voldoet aan de medische privacywetgeving.

De MyChart-tool, genaamd In Basket Art, gebruikt context uit de eerdere berichten van een patiënt en informatie uit zijn elektronische medische dossiers, zoals een lijst met medicijnen, om een ​​concept te creëren dat zorgverleners kunnen goedkeuren of wijzigen.

Door artsen toe te staan ​​als redacteuren op te treden, hopen gezondheidszorgsystemen dat ze de berichten van patiënten sneller kunnen overbrengen en daar minder mentale energie aan kunnen besteden.

Dit werd gedeeltelijk bevestigd in vroege onderzoeken, waaruit bleek dat kunst verminderde Gevoelens van uitputting En Cognitieve belastingmaar dit bespaarde niet noodzakelijkerwijs tijd.

Honderden artsen bij UC San Diego Health, meer dan honderd zorgverleners bij UW Health in Wisconsin en elke gediplomeerde arts in de eerstelijnszorgpraktijken van Stanford Health Care – inclusief artsen, verpleegkundigen en apothekers – hebben toegang tot de AI-tool.

Tientallen artsen bij Northwestern Health, NYU Langone Health en UNC Health experimenteren met deze kunst terwijl leiders een bredere expansie overwegen.

Bij gebrek aan sterke federale regelgeving of algemeen aanvaarde ethische kaders beslist elk gezondheidszorgsysteem hoe de veiligheid van een hulpmiddel wordt getest en of patiënten over het gebruik ervan worden geïnformeerd.

Sommige ziekenhuissystemen, zoals UC San Diego Health, plaatsen een mededeling onderaan elk bericht waarin wordt uitgelegd dat het “automatisch gegenereerd” is en door een arts is beoordeeld en bewerkt.

“Persoonlijk zie ik geen enkel nadeel aan transparantie”, zegt dr. Christopher Longhurst, hoofd klinische zaken en innovatie van het gezondheidszorgsysteem.

Patiënten zijn over het algemeen ontvankelijk voor de nieuwe technologie, zei hij. (Eén arts ontving een e-mail waarin stond: “Ik Ik wil u als eerste feliciteren met uw AI Driving Assistant en de eerste zijn die u een door AI gegenereerd patiëntenbericht stuurt.

Andere systemen – waaronder Stanford Health System, University of Wisconsin Health System, University of North Carolina Health System en NYU Langone Health System – besloten dat het informeren van patiënten meer kwaad dan goed zou doen.

Sommige functionarissen zijn bezorgd dat artsen disclaimers zouden kunnen zien als een excuus om berichten naar patiënten te sturen zonder deze goed te verifiëren, zei dr. Brian Patterson, arts-directeur voor klinische AI ​​bij UW Health.

Patiënten vertellen dat een bericht AI-inhoud bevat, kan de waarde van medisch advies verminderen, zelfs als dit door hun artsen wordt onderschreven, zegt dr. Paul Testa, hoofd medische informatie bij NYU Langone Health.

Voor Dr. Jayaram komt het blootleggen van het gebruik van dit hulpmiddel neer op een simpele vraag: wat verwachten patiënten?

Wanneer patiënten een bericht sturen over hun gezondheid, zeggen ze, gaan ze ervan uit dat hun artsen rekening zullen houden met hun geschiedenis, behandelingsvoorkeuren en gezinsdynamiek – immateriële activa die zijn verkregen uit langdurige relaties.

‘Als je een doktersbriefje leest, lees je het met de stem van je arts’, zei hij. ‘Als een patiënt wist dat de boodschap die hij met zijn arts uitwisselde, werd gegenereerd door kunstmatige intelligentie, denk ik dat hij zich echt verraden zou voelen. “

Voor veel gezondheidszorgsystemen helpt het creëren van een algoritme dat op overtuigende wijze de ‘stem’ van een bepaalde arts nabootst, de tool bruikbaar te maken. Epic is onlangs begonnen zijn tool meer toegang te geven tot berichten uit het verleden, zodat de concepten de individuele schrijfstijl van elke arts kunnen nabootsen.

Brent Lamm, hoofd informatie bij UNC Health, zei dat dit veel voorkomende klachten aanpakt die hij van artsen heeft gehoord: “Ik kan mijn persoonlijke mening niet uiten” of “Ik ken deze patiënt al zeven jaar. Ze zullen weten dat ik het niet ben. “

Zorgbestuurders noemen deze kunst vaak een gebruik van AI met een laag risico, omdat de aanbieder idealiter altijd concepten leest en fouten corrigeert.

Deze beschrijving baart onderzoekers zorgen die bestuderen hoe mensen werken in relatie tot kunstmatige intelligentie. Deze beschrijving “druist in tegen ongeveer vijftig jaar onderzoek”, zegt Ken Holstein, professor aan het Human-Computer Interaction Institute van de Carnegie Mellon Universiteit.

Mensen hebben een goed gedocumenteerde neiging, automatiseringsbias genoemd, om de aanbevelingen van een algoritme te accepteren, zelfs als deze in strijd zijn met hun eigen ervaring, zei hij. Deze vooringenomenheid kan ertoe leiden dat artsen minder kritisch zijn bij het beoordelen van door AI gegenereerde concepten, waardoor ernstige fouten bij patiënten terecht kunnen komen.

Kunst is niet immuun voor fouten. Recente studie De onderzoekers ontdekten dat zeven van de 116 door AI gegenereerde concepten zogenaamde hallucinaties bevatten – beledigingen waarvan bekend is dat de technologie deze creëert.

Dr. Vinay Reddy, huisarts bij UNC Health, herinnert zich een geval waarin een patiënt een collega een bericht stuurde om te controleren of ze het hepatitis B-vaccin nodig had.

Het door AI gegenereerde ontwerp bevestigde aan de patiënt vol vertrouwen dat ze haar vaccinaties had gekregen en haar afspraken had gepland. Hij zei dat dit volkomen onjuist was en dat dit gebeurde omdat het model geen toegang had tot haar vaccinatiegegevens.

klein Een studie gepubliceerd in The Lancet Digital Health De onderzoekers ontdekten dat GPT-4, hetzelfde AI-model dat ten grondslag ligt aan de Epic-tool, ernstigere fouten maakte bij het beantwoorden van hypothetische vragen van patiënten.

Artsen die hun antwoorden beoordeelden, ontdekten dat concepten, als ze niet werden bewerkt, in 7% van de gevallen een ernstig risico konden vormen.

Maar wat geruststellend is voor Dr. Eric Bohn, hoofd gezondheidsinformatie bij Duke Health, is dat het model concepten produceert die nog steeds van ‘matige kwaliteit’ zijn, wat volgens hem artsen sceptisch en waakzaam maakt over het opsporen van fouten.

Gemiddeld wordt minder dan een derde van de door AI gegenereerde concepten naar patiënten gestuurd zonder dat ze zijn bewerkt, volgens Epic, een indicator voor ziekenhuisbestuurders dat artsen geen berichten stempelen.

“Eén vraag die bij mij opkomt is: wat als de technologie verbetert? Wat als artsen hun waakzaamheid gaan versoepelen? Zullen fouten verdwijnen?”

Epic heeft veiligheidsbarrières in de programmering ingebouwd om te voorkomen dat Art klinisch advies geeft, zegt Garrett Adams, vice-president onderzoek en ontwikkeling van het bedrijf.

De heer Adams zei dat de tool het meest geschikt is om veelgestelde administratieve vragen te beantwoorden, zoals “Wanneer is mijn benoeming?” of “Kan ik mijn screeningafspraak verzetten?”

Maar onderzoekers zijn er niet in geslaagd betrouwbare manieren te ontwikkelen om modellen te dwingen instructies te volgen, zei dr. Holstein.

Dr. Anand Chaudhary, die hielp bij het toezicht op de uitrol van ART bij Duke Health, zei dat hij en zijn collega’s herhaaldelijk de instructies hadden aangepast om te voorkomen dat de tool klinisch advies zou geven, met weinig succes.

“Hoe hard we ook probeerden, we konden zijn instinct om te helpen helpen niet uitschakelen”, zei hij.

Drie gezondheidszorgsystemen vertelden de New York Times dat ze enkele vangrails uit de richtlijnen hadden verwijderd.

Dr. Longhurst van het UC San Diego Health Center zei dat het model “beter presteerde” toen de taal die Art opdroeg niet “te reageren met klinische informatie” werd verwijderd. Ambtenaren voelden zich op hun gemak om de AI meer vrijheid te geven omdat de berichten door artsen werden beoordeeld.

Dr. Christopher Sharp, de belangrijkste medische informatiefunctionaris van het gezondheidszorgsysteem, zei dat Stanford Health Care een “opzettelijk risico” heeft genomen om ART “meer als een arts te laten denken”, nadat een aantal strenge beperkingen de concepten generiek en nutteloos leken te maken.

Naast vragen over veiligheid en transparantie hebben sommige bio-ethici ook meer fundamentele zorgen: is dit de manier waarop we AI in de geneeskunde willen gebruiken?

In tegenstelling tot veel andere gezondheidszorginstrumenten die afhankelijk zijn van AI, is kunst niet ontworpen om de klinische resultaten te verbeteren (hoewel één onderzoek suggereerde dat de reacties effectiever zouden kunnen zijn). Empathisch en positief), en is niet strikt gericht op administratieve taken.

In plaats daarvan lijkt AI binnen te dringen op zeldzame momenten waarop patiënten en artsen rechtstreeks met elkaar kunnen communiceren – het soort momenten dat technologie mogelijk zou moeten maken, zegt Daniel Schiff, mededirecteur van het Governance and Responsible AI Lab aan de Purdue University.

“Zelfs als het foutloos zou zijn, zou je dan een van de weinige manieren willen automatiseren waarop we nog steeds met elkaar omgaan?“