AI-hypen er ved at lægge sig en smule. Det medvirker, at udbyderne hæver priserne for sine AI-modeller, da systemerne er dyre at bygge og vedligeholde. F.eks. har content-platformen Canva netop annonceret en prisstigning på 300%, og OpenAI overvejer at tage intet mindre end $2000 om måneden for deres nye avancerede model; GPT Orion. Derfor er det værd at undersøge, hvordan I får mest muligt ud af jeres AI-budget. Vi har et godt bud.
Ifølge Gartner er hypen omkring generativ AI ved at have nået sit peak.
Det betyder bestemt ikke, at der ikke stadig er masser af store ambitioner, store forventninger og store investeringer inden for AI. Faktisk ser vi netop, at tech-giganter som Apple, NVIDIA og Amazon investerer mere og mere i både teknologi og infrastruktur bygget op omkring AI. Amazon går blandt andet all in med en investering på op mod $10,5 milliarder for datacentre og infrastruktur i Storbritannien.
Den faldende hype-kurve betyder imidlertid, at den eksperimenterende tid, hvor virksomhederne bag de store AI-modeller har udbudt deres services gratis eller til spotpriser, er ved at være forbi.
Det er dyrt både at bygge og vedligeholde de store AI-modeller, og derfor stiger priserne nu markant på flere af de mest brugte modeller på markedet. Blandt andet har content-platformen Canva hævet priserne med 300% efter at have implementeret AI-features.
Og OpenAI’s kommende top-model, GPT Orion, rygtes lige nu til at komme til at koste 2000 dollars om måneden. Ved deres nylige preview af Strawberry/o1-modellen er priserne allerede 3 gange højere end GPT-4o, og det forventes at prisen bliver væsentligt højere, når den endelige model lanceres. Så den skal du nok liiiige have clearet med finans, inden du bruger den model til at lave dine LinkedIn-opslag.
Det ville svare til at finde en pizzaspade frem for at smaske en flue. Et såkaldt overkill. Men der er heldigvis råd for, hvordan du undgår den slags overkompenseringer.
Brug den rigtige AI-model til den rigtige opgave
De stigende priser skyldes naturligvis også den øgede kompleksitet og de større muligheder, som mere avancerede AI-modeller fører med sig. I sidste ende er et af de primære formål med AI jo, for mange, at blive mere kosteffektive i virksomhederne, så der kan spares tid og penge på arbejdsopgaver og -processer.
Dermed bliver det en afvejning mellem modellernes pris og den værdi og præcision, du får ud af dem.
Vores råd i denne sammenhæng er, at du bliver skarp på, hvilke modeller du bruger til hvilke formål. Særligt hvis din virksomhed har mange daglige AI-interaktioner med mange forskellige niveauer i kompleksitet - for eksempel hvis I bruger det til kundeservice eller andre services, hvor eksterne brugere interagerer med AI-systemerne.
I sådanne situationer kan der være mange penge at spare ved at blive mere kosteffektiv i brugen af jeres AI-modeller. Desuden bruger de større modeller også mere energi og CO2, så der er også en bæredygtighedsfaktor at tage højde for.
Hvis det lyder lige lovligt komplekst at skulle variere brugen af AI-modeller til hver enkelt prompt, så er der heldigvis hjælp at hente fra… Ja, du har nok gættet det: AI.
Routing – lad AI vælge model for dig
Tilbage i slutningen af juli blev open-source frameworket RouteLLM lanceret. Det er et eksempel på en sprogmodel, hvor du som virksomhed kan registrere de AI-modeller, som du har adgang til, og så hjælper systemet med at route de enkelte forespørgsler til den af dine modeller, som vil kunne løse opgaven mest effektivt og billigst.
Hvis du f.eks. bruger Metas Llama, kan du registrere Llama 8b, Llama 70b og Llama 405b som henholdsvist lille, mellem og stor model. Et simpelt matematikspørgsmål ville så gå til 8b, mens en mere kompleks prompt som “skriv en takketale til en konfirmation” vil ramme en af de større modeller. Målet er at spare penge og energiomkostninger uden at gå ned i kvalitet på outputtet.
Routing kan således automatisere processen med at vælge den rigtige model til det rigtige formål, så din virksomhed kan spare penge, og undgå at bruge unødige ressourcer på jeres AI-processer.
Faktisk kan routing sænke prisen på større AI-projekter med op mod 90% og stadig opnå 90% præcision i sine svar. Blot ved at route simple forespørgsler til mindre modeller og reservere de større modeller til mere komplekse spørgsmål.
RouteLLM er et eksempel på en routing-model, men der findes flere lignende produkter på markedet.
Sørg for at dine AI-projekter nemt kan flyttes
Samtidigt med at de mere komplekse AI-modeller stiger drastisk i pris, så bliver nogle af de tidligere generationer markant billigere. For eksempel halverer OpenAI priserne på deres GPT-4o-model i forbindelse med, at de lancerer Strawberry i preview.
Det gør blot routing af modeller endnu mere vigtigt, eftersom der bliver større og større forskel på de billigste og de dyreste modeller.
Hos Vertica anbefaler vi altid, at du arbejder model-agnostisk med AI – altså at dine AI-projekter i princippet er uafhængige af den sprogmodel, du anvender. På den måde kan du nemmere skifte mellem modeller, hvis nogen for eksempel ender med at blive ulovlige i Danmark grundet EU’s AI Act, eller hvis nye modeller viser sig at være bedre end de eksisterende.
AI-verdenen rykker hurtigt, så det er en stor konkurrencefordel at kunne rykke med.
Hvis du er MEGET glad for en bestemt model, vil vi som minimum anbefale, at du sørger for at være generations-agnostisk, så du altid kan skifte modellen i dit AI-supporterende system til en nyere version – uden de store udviklingsomkostninger.
Den form for agilitet gør det også nemmere at tilføje modeller til jeres system, så I har bedre muligheder for routing mellem modellerne.
Det sikrer jer en mere kosteffektiv tilgang til jeres AI-setup, så I sørger for, at I bruger jeres AI-budget så fornuftigt som muligt.
