Sådan skabte Artifax en selvhostet AI-supportagent

Dilys Chan

Ved at bruge AI til at fjerne friktion i kundesupporten har virksomheden skabt mere kapacitet til at håndtere komplekse problemstillinger

Denne artikel er bearbejdet ud fra et webinar afholdt for Volaris Groups virksomheder og ledet af Hanna Ha, Corporate Knowledge Programs Lead hos Volaris Group.

At holde en supportfunktion kørende i højt tempo kan være en udfordring for enhver virksomhed. En af vores virksomheder fandt en måde at få deres til at køre mere gnidningsfrit.

Guy Hiddleston er Head of IT Systems and Compliance hos Artifax, en Volaris-ejet virksomhed, der udvikler software til venue- og event management til teatre, museer og andre kultur- og kulturarvsorganisationer.

For nylig delte han sin erfaring med Volaris-fællesskabet om at bygge en selvhostet supportagent fra bunden, drevet af ønsket om at gøre teamets eksisterende viden mere tilgængelig for egne medarbejdere og kunder.

Udfordringer med at finde helpdesk-information

Artifax har en relativt lille supportfunktion, der håndterer omkring 2.500 tickets om året. Typisk har funktionen været varetaget af én fuldtids supportspecialist med hjælp fra professional services. Men den viden, de arbejdede med, var spredt på tværs af et enormt bagkatalog af help center-artikler, ticket-historik og lange, ustrukturerede transskriptioner af professional services- og customer success-opkald.

“Medmindre man vidste, hvad man ledte efter, og vidste, hvad man skulle søge på, var det ret udfordrende faktisk at få adgang til det,” sagde Guy.

Deres kunder havde også en udfordring. Artifax’ vidensbase var ikke let tilgængelig for dem, og det skabte en stabil strøm af gentagne FAQ-tickets. At besvare disse henvendelser tog tid fra medarbejderne, som ellers kunne arbejde med reelt komplekse sager.

Samtidig havde virksomheden brug for en måde at videregive viden om nichemoduler til nye medarbejdere.

Fra tickets til en søgbar hjerne

Artifax besluttede at bygge en AI-agent for at løse deres udfordringer. Udviklingen startede med udtræk. Teamet trak hele deres ticket-historik og arkiv over vidensbasen, lod en agent gennemgå hver ticket og opsummere den til, hvad kundens problem faktisk var, hvordan det blev kommunikeret, og hvordan det blev løst. Disse strømlinede opsummeringer — ikke de rå tråde — blev lagt i en vektordatabase.

Artifax byggede derefter to separate retrievere — én til supporttickets og én til vidensbaseartikler — som hver blev holdt i separate tabeller.

Den første version af agenten lå i et open source-workflowværktøj, hvor Guy kunne chatte direkte med den. Den virkede, men den var ikke klar til kunder.

At gøre agenten klar til kunder

I stedet for at rette agenten direkte mod kunderne byggede Artifax sikkerhedsforanstaltninger ind. Det gjorde de ved at sende en ny ticket til agenten i det øjeblik, den blev oprettet, og derefter poste agentens udkast til svar tilbage som en privat note kun til internt brug. Supportmedarbejdere brugte et udkast, som agenten havde lavet, til at undersøge hurtigere eller låne et foreslået svar. I nogle tilfælde, ved mere ligetil FAQ’er, kunne supportmedarbejdere blot kopiere udkastet ind i et kundevendt svar.

“Grunden til, at vi ikke gik direkte til det offentlige svar, er, at det fra et governance-perspektiv ville være en højrisikoaktivitet,” sagde Guy. “Vi ville først kunne validere, forfine modellen og derefter gå videre.”

Valideringsperioden varede cirka en måned, hvor mennesker tjekkede hvert eneste svar for tone, omfang og kilder. Denne fase viste sig at være vigtig for at hjælpe med at forhindre hallucinationer fra AI-agenten.

Teamet ændrede agenten, så hvert svar, den giver, nu har en kilde nederst, så både Artifax og deres kunder kan spore en påstand tilbage til, hvor den kom fra. “Vi havde brug for, at kunderne opbyggede tillid og kunne gå til kilden for at validere den information,” forklarede han.

At bygge værn mod hallucinationer

Nogle af de værn, Artifax byggede ind i agenten, var oplagte, såsom at holde sig til emnet og ikke diskutere noget uden for produktet.

Men andre idéer til værn dukkede op gennem intern test.

Da agenten har adgang til supportticket-data, er den teknisk set i stand til at besvare spørgsmål, der rækker ud over support, men som kan indeholde information, der ikke er tiltænkt det formål. For at forhindre misbrug beskriver systemprompten nu citeringsregler, eksplicitte forbud og hvordan agenten konsekvent skal afvise og aflede, hvor hvert output tjekkes op imod disse værn, før det vises til nogen. Og Artifax byggede beskyttelse af persondata ind, som fik et to-lags forsvar.

For at stressteste det hele udfordrede Guy alle i virksomheden til at bryde værnene.

Ikke alt gik gnidningsfrit. Tidligt i forløbet eksperimenterede teamet med hurtigere modeller med lavere ræsonnement for at opnå hurtigere svartider. De modeller hallucinerede langt mere og opfandt help center-URL’er i stedet for at citere de rigtige.

“Det var frustrerende i vores eksperimentperiode. Informationen kom stadig fra live-artikler, men modellen ville skabe sin egen URL,” sagde Guy.

Artifax har siden arbejdet sig igennem deres læringsperiode. Teamet lærte, at hvis man skifter den model, man bruger, kan det ændre tone og adfærd så meget, at alt skal testes igen. I praksis betyder det at bygge en parallel kopi af agenten på kandidatmodellen, validere den uafhængigt og først derefter skifte produktionen over.

Da teamet var trygge ved løsningen, blev agenten flyttet ud af test og ind i selve Artifax-produktet, hvor den blev soft-lanceret til kunder via hjælpeknappen.

Sådan har supportteamet strømlinet arbejdsgange

Den tydeligste gevinst har været onboarding. En ny medarbejder i supportafdelingen, som ikke kendte Artifax’ mere nicheprægede moduler, kunne besvare tickets i sin første uge efter at have brugt agentens private ticket-opsummeringer.

Den samlede ticket-volumen er ikke faldet markant, men Artifax ser, at meget få chatsessioner overhovedet eskalerer til en registreret ticket. Guy siger, at det ikke afspejler en afvisning af supporthenvendelser, men succesen med den nye og reelt selvbetjente supportkanal, der fjerner friktion for kunderne.

Internt bruger teamet agenten dagligt, og strømmen af gentagne FAQ-tickets er forsvundet, hvilket frigør medarbejdernes tid til at forbedre help centre-artikler, som derefter føder direkte tilbage i agentens egen viden.

Hvad er det næste for Artifax

Artifax optager nu professional services- og customer success-opkald for at opbygge et andet, kun internt videnslag. På den måde vil account managers på sigt kunne bede agenten om en opsummering af, hvor en specifik kunde står.

Teamet overvejer også at skifte fra én platform til en anden, primært for at få et mere modent audit trail, efterhånden som indsatsen ved automatisering stiger med yderligere AI-adoption.

“At have et virkelig stærkt audit trail og beslutningslog er afgørende for at tilføje yderligere agenter,” sagde han.

Hans råd til andre virksomheder, der måske vil forfølge et lignende projekt? “Jeres data er allerede der. Gå ud og få fat i dem.”

Om forfatteren

Dilys Chan
Dilys er Editorial Director hos Volaris Group. Hun har en baggrund i erhvervsjournalistik med tidligere erfaring i at dække børsnoterede virksomheder, fusioner og opkøb, ledere på C-niveau og erhvervstendenser som TV-nyhedsproducer.
Author Avatar

Fortsæt læsningen . . .