Den 17. september tilgjengeliggjorde OpenAI nye modeller for brukere av ChatGPT. De nye modellene o1-preview og o1-mini er designet til å «tenke før de svarer» – men hva betyr egentlig dette?
Når en LLM som ChatGPT genererer et langt svar, produserer den teksten ett ord om gangen basert på sannsynlighetene lært fra treningsdataene. Modellen planlegger ikke hele setningen på forhånd når den begynner å skrive. I stedet bestemmer den hvert ord sekvensielt ved å vurdere de foregående ordene og sammenhengen i samtalen. Dette betyr at den ikke nødvendigvis vet hvordan setningen vil ende når den starter den. Denne prosessen gjør at svarene kan være flytende og tilpasset konteksten, men uten en forhåndsbestemt avslutning for hver setning.
Dette er noen ganger en svakhet, siden det gjør at modellen ikke alltid forstår komplekse spørsmål, og derfor gir feilaktige svar. Et eksempel er følgende:
En måte å omgå problematikken med at modellen snakker først og tenker underveis, er å tvinge modellen til å bryte opp et spørsmål i flere svar. Denne måten å prompte på kalles «chain-of-thought prompting», og tvinger modellen til å svare på deler av spørsmålet, før den gir et endelig svar. Chain-of-though-prompting sikrer at modellen tenker over delspørsmålene før den genererer et endelig svar. Når OpenAI sier at de nye modellene er «designed to spend more time thinking before they respond», så er det en slik logikk som er innebygget. Effekten er at modellen vil kunne svare bedre på komplekse spørsmål, som eksempelet over. Når du stiller et slikt spørsmål vil modellen først bryte opp spørsmålet, og svare på de ulike delene, og siden generere et (forhåpentligvis) bedre svar.
Denne artikkelen er skrevet 24. september 2024. Bruk av o1-preview og o1-mini er i dag tilgjengelig for plus-brukere, med en begrensning på maksimalt 50 prompts til hver av modellene. Legg merke til at modellen enda ikke kan gjøre nettsøk for å hente kunnskap utenfor egne treningsdata. Med dette som bakgrunn anbefales fremdeles ChatGP 4o som foretrukket modell til de fleste oppgaver.