Når AI møder atomkraft: Saltfoss’ selvhostede AI løsning hjælper forskerne fremad

Hvordan kommer man i gang med AI, når man arbejder med banebrydende forskning, og med teknologier der helst ikke skal ende i de forkerte hænder?

Netop det spørgsmål dvælede tre kollegaer fra Saltfoss Energy ved, da snakken faldt på AI en dag på kontoret. Sammen besluttede de at eksperimentere med en selvhostet AI løsning.

Når datasikkerhed er i højsædet

Hos Saltfoss arbejder man med fortrolig data, og er derfor underlagt eksportkontrol, som skal sikre, at viden, software og teknologi, af national strategisk interesse, ikke ender i de forkerte hænder. Det er altså helt essentielt, at man som virksomhed har tjek på, hvor man deler sine dokumenter, og hvem der kan kigge med på ens data.

Derfor kan brugen af de store internationale platforme som eks. ChatGPT eller Perplexity stride imod både virksomhedsinteresser og lovgivningsmæssige forpligtelser, da man ikke kan garantere, hvordan dataet bliver brugt og beskyttet.

Selv om du ikke er underlagt eksportkontrol, så kan du måske nikke genkendende til frygten for, at du ikke har tjek på hvor dit data ender op henne, og hvad det bliver brugt til. Men det er der altså løsninger på.

At drive sin egen AI model

For med en selvhostet AI platform, som står på en intern server, sikrer Saltfoss at alle data forbliver under egen kontrol. Så hvor starter man henne? Hos Saltfoss startede de med at grave et gammelt IT lager igennem, for at finde en server der tidligere havde været brugt til at lave beregninger i virksomheden.

Den gamle server var dog ikke udstyret med et såkaldt ”grafikkort” (GPU), som er det komponent, der laver de tunge løft, når AI modellerne kører, og det kunne altså mærkes på modellernes hastighed. Derfor fik de installeret et NVIDIA RTX A4000 grafikkort, og vurderingen er nu at den interne model kan matche hastigheden af de største etablerede modeller på markedet.

Samlet set har vi altså at gøre med en prismæssig installation i omegnen af 20-30.000 kr.

Serveren har Linux som styresystem, og en Ollama installation, der håndterer selve AI modellerne. Ollama fungerer som motoren i løsningen. Det er den, der henter og kører open source sprogmodeller som for eksempel Mistral, Llama 3 eller DeepSeek. Brugeren kan frit vælge mellem flere modeller efter behov.

Ollama er gratis og kan installeres direkte på serveren. Den sørger for, at serverens grafikkort bruges optimalt, så svarene bliver genereret hurtigt. Ovenpå denne motor har de hos Saltfoss installeret Open WebUI, et ligeledes gratis og open source brugerinterface, som er hentet fra GitHub. Det fungerer som et simpelt chat interface, der minder om ChatGPT, men som udelukkende kører internt i virksomheden.

Sådan ser brugerinterfacet ud på Saltfoss' interne platform

Herfra kan medarbejderne logge ind gennem intranettet, vælge den model de vil arbejde med, og chatte sikkert, uden at noget forlader virksomhedens egne systemer. Det hele kører altså på fri open source software, sat sammen af eksisterende byggeklodser, der tilsammen udgør en fuldt funktionel AI platform til næsten ingen penge.

AI med adgang til hemmelige dokumenter

Ud over selve platformen har Saltfoss bygget et lag ovenpå, som gør det muligt for medarbejderne at stille spørgsmål til virksomhedens egne dokumenter. Det kaldes RAG (Retrieval Augmented Generation) og betyder kort fortalt, at modellen kan “slå op” i interne filer, inden den svarer.

I praksis ligger alle de relevante dokumenter, rapporter, forskningsnoter og tekniske beskrivelser, på den samme server som AI modellen. Når de uploades, bliver de automatisk omdannet til tekst og lagt i en særlig database, som AI modellen har adgang til. Når en medarbejder derefter stiller et spørgsmål, søger systemet først i denne database efter det mest relevante indhold, og svarer med udgangspunkt i det indhold.

Samtidig bliver svaret ofte ledsaget af et link eller en reference til den originale fil, så brugeren kan se præcis, hvor informationen kommer fra.

Hvilken værdi skaber AI platformen?

Helt lavpraktisk betyder det, at medarbejderne nu er i stand til at bruge systemet som en slags intern hjælper i hverdagen. HR afdelingen har for eksempel lagt alle virksomhedens personalepolitikker og procedurer ind i databasen. Det betyder, at en ny medarbejder nemt kan spørge: “Hvordan fungerer reglerne for ferieafholdelse?” eller “Hvor finder jeg skabelonen til rejseafregning?”. Udover et konkret svar, vil medarbejderen desuden få et link til den relevante fil.

Eksempel på AI som besvarer spørgsmålet med udgangspunkt i databasen med HR dokumenter

Men platformen bliver også brugt til mere tekniske formål. Ingeniørerne anvender den f.eks. til at gennemgå og kvalitetstjekke kravspecifikationer eller tekniske rapporter. Her kan modellen sammenholde tekst mod interne tjeklister, foreslå forbedringer i formuleringer eller pege på manglende informationer.

Eksempel på kvalitetskontrol med interne checklister

De to ingeniører fortæller, hvordan det tidligere kunne tage en hel arbejdsdag at gennemgå et større dokument med krav og tjeklister manuelt.

Nu udføres kontrollen automatisk, mens de dyre ingeniørtimer kan bruges på komplekse problemstillinger.

Ser man tilbage på forløbet, er der især én ting, Saltfoss peger på som afgørende: at man tør eksperimentere. I stedet for at starte med et stort projekt og lange planlægningsforløb, valgte de at bygge løsningen selv, og at lære undervejs.

Deres vigtigste råd til andre virksomheder lyder:

• Start småt og praktisk. Det behøver ikke være et stort projekt med et stort budget for at skabe værdi.

• Brug det, du har. Mange af komponenterne, Saltfoss har anvendt, er gratis og open source.

• Skab plads til nysgerrighed. Det vigtigste er at have nogen internt, der får lov til at eksperimentere og lære.

Hos Saltfoss stopper udviklingen dog ikke her. Næste skridt bliver at tilbyde interne trænings- og læringsforløb, så flere medarbejdere får indsigt i, hvordan værktøjerne virker, og hvordan de kan bruges sikkert og effektivt.

På spørgsmålet om, hvorvidt de ville vælge at bygge internt igen, er svaret klart: ja. For selvom det kræver lidt ekstra opsætning og teknisk tålmodighed, giver det en frihed og datasikkerhed, som er svært at opnå med eksterne løsninger.

Vil du lære mere om AI?

AI udvikler sig hurtigt, og det kan være svært at følge med, men du står ikke alene. Hos Dansk Industri har vi samlet en lang række ressourcer, der gør det lettere at forstå, anvende og implementere AI – uanset om du er i gang, på vej eller bare nysgerrig.

Hvis du har fået blod på tanden efter at læse om Saltfoss' rejse, og gerne vil lære mere om AI, så kan du finde mere materiale på vores AI for Alle univers.

Her finder du desuden:

• Guides og artikler om alt inden for AI
• Konkrete cases fra danske virksomheder
• Gratis værktøjer og vejledninger
• Kurser og events

AI er ikke kun for specialister og teknikere. Det er for alle, der vil være med til at forme fremtiden, og bruge teknologien klogt og ansvarligt.