ChatGPT, Bard og Bing - Hvilken chatbot er bedst i test?

Siden OpenAI med ChatGPT viste det store teknologiske potentiale og fremskridt på AI området, har flere andre spillere meldt sig på banen.

Google har lanceret Bard og Microsoft er kommet på markedet med Bing Chat, som begge er konkurrenter til ChatGPT.

Men hvad er forskellen? Det har vi undersøgt med et par tests, som viser hvilke styrker og svagheder de tre chatbots hver især har. Først en kort beskrivelse og efterfølgende en række test. 

Kort beskrivelse af de tre AI Chatbots

Hvordan klarer de tre chatbots forskellige opgaver 

For at teste hvad de tre chatbots kan, har de hver især fået de samme prompts, for at se hvordan de løser de samme opgaver. 

Opsummering af artikel 

Lad os først se hvordan de hver især kan hjælpe med at læse artikler. Jeg har valgt en nyhed fra august 2023 om, at Pelle Dragsted overtager rollen som politisk ordfører i Enhedslisten.

Jeg gav derfor hver af de tre chatbotter den samme artikel og bad dem opsummere indholdet. 

Bard lagde ud med to korte sætninger om, at Dragsted overtager rollen og hvem han overtager rollen fra Mai Villadsen. Det er lige kort nok, men ganske rigtigt.

Desværre fortalte Bard også, at Villadsen har været politisk ordfører siden 2019, og det er forkert: Villadsen har siddet i Folketinget siden 2019, men blev først politisk ordfører i 2021.

Bard giver muligheden for at vælge mellem forskellige svar (kladder), og de to andre var heldigvis mere omfattende end den første.

Med flere sætninger medfølger desværre også flere faktuelle fejl. Det er vigtigt at huske, at formålet med disse modeller er at genere et svar, og det vil de gøre uanset om de har den nødvendige information eller ej.

Når modellerne kommer med forkerte svar, kaldes det hallucination. Det er ikke helt korrekt at sige, at de lyver, fordi de ikke er klar over, at det de genererer, er forkert. 

Bing klarer sig markant bedre, og beskriver fint indholdet i artiklen. Bing kildehenviser også og  foreslår links for at få mere at vide om emnet. 

Med ChatGPT var det nødvendigt at teste ved hjælp af plugins. Årsagen er, at ChatGPT ikke har adgang til internettet medmindre den får støtte af fx plugins. I dette tilfælde brugte jeg pluginnet WebPilot.

Med ChatGPT 3.5 (gratis) blev svaret opdigtet udfra URL’en (linket) og eksisterende viden modellen har fået som følge af dens træning.

Det betød faktuelle fejl som fx, at Dragsted overtager rollen efter Johanne Schmidt-Nielsen (hun har ikke været politisk ordfører siden 2016).

ChatGPT 4 (betalt) med WebPilot pluginnet gav til gengæld et langt bedre resultat. Her lignede svaret det vi fik fra Bing, men ChatGPT supplerede sit svar med tre tankevækkende spørgsmål.

Det er relevante spørgsmål, som imponerende nok, i større eller mindre grad, blev stillet af journalisten Søren Lippert i TV2 magasinet Lippert efterfølgende. 

Matematik og logik 

Nu har vi set på kreativitet og præcision, men hvad med matematiske regler og logik.

Jeg præsenterede de tre chatbotter for først en simple udregning og efterfølgende en logisk gåde.

Udregningen jeg valgte var -1 * -1 * -1. Det korrekte resultat er -1, men det var ikke alle chatbotter der kom frem til dette.

Bard og ChatGPT 3.5 kom frem til at resultatet måtte være 1.

Bing kom frem til det korrekte resultat, og det gjorde ChatGPT 4 også med hjælp fra pluginnet Wolfram. 

For at teste de logiske evner gav jeg dem hver følgende gåde: 

Denne gåde udmærker sig ved, at svaret ikke direkte har noget at gøre med indholdet i gåden.
Det kræver altså både en bred viden og en abstrakt tankeproces at løse den.

Hverken Bard, Bing og ChatGPT 3.5 kunne løse gåden.

Bard kom frem til hvilket maleri der er tale om og hvem der har malet det. Leonardo da Vinci var italiensk, så (noget stereotypt) gættede Bard på pizza, pasta eller en vespa.

Bing  og ChatGPT 3.5 opgav begge på forhånd og efterspurgte hjælp for at kunne løse gåden.

ChatGPT 4 derimod kunne identificere nøgleoplysninger i gåden og kom frem til at svaret på gåden måtte være, at

• Det mest berømte museum i Frankrig er Louvre.
• Det mest berømte billede i Louvre er Mona Lisa, malet af Leonardo da Vinci.
• Leonardo er også navnet på Teenage Mutant Ninja Turtle tegneseriefigur.
• Leonardos våben er en ninjago, som er et traditionelt japansk våben.
• Så det korrekte svar er Japan. 

Simpel forklaring 

For at teste evnen til at korrigerer sprog og forklaringsevne efter en given målgruppe, bad jeg dem forklarer den danske flexicurity model til et barn.

Flexicurity er et relativt kompliceret emne der indbefatter historie, makroøkonomi, samfund, arbejdsmarked etc. Alt sammen noget et barn sjældent har et tilstrækkeligt fundament for at kunne forstå.

Bard formåede at beskrive nogenlunde simpelt og kortfattet, men, efter min vurdering, langt fra egnet til at barn.

Bing beskrev kort og simpelt og brugte en trampolin-metafor for at imødekomme barnet.

ChatGPT 3.5 gav et længere svar og gik i detaljer med relevante begreber. Alt sammen uden at gå på kompromis med målgruppen, ved at opbygge en eventyrlig fortælling omkring beskrivelsen. 

Billedanalyse og databehandling

Her kan Bard ikke være med. Men både ChatGPT og Bing giver mulighed for at uploade filer, dog med hver deres begrænsning. 

Bing kan kun modtage billeder.

ChatGPT kan modtage en lang række filtyper, men kun hvis man har den betalte version.

Jeg har først testet deres evner til at analysere billeder og efterfølgende deres evne til at analysere data.

ChatGPT 4 og og Bing bruger den samme model (OpenAI’s GPT-4), som er multimodal og derfor kan genkende indhold på billeder.

Det er derfor lidt sært, at ChatGPT ikke kunne give mig et svar på hvilken race min hund er da jeg gav den et billede af den.

I stedet svarede den: ”Desværre har jeg ikke evnen til direkte billedgenkendelse…”.

Bing derimod kunne genkende en hund på billedet og fortælle mig, at det er en Golden Retriever. Jeg testede med flere forskellige billeder, og i de fleste tilfælde kunne Bing genkende racen, men en enkelt gang var dens bud Chihuahua.

Ser vi derimod på andre filtyper, som fx en Excel-fil med data, så kan Bing ikke være mere længere.

Det er ikke muligt at uploade sådan en filtype i hverken Bing eller Bard.

Det kan man derimod til ChatGPT hvis man vælger Advanced Data Analysis.

For at teste dens evner til at analysere data, gav jeg den resultaterne fra en survey vedrørende CA’s AI Update, en nyhedsmail om AI.

Det er 100% anonyme data, men hvis ikke dette havde været tilfældet ville jeg have anonymiseret filen først.

Jeg uploadede Excel-filen og bad ChatGPT om at lave grafer der demonstrer filens data.

ChatGPT forklarer og viser sit arbejde løbende, hvilket du kan se her i dens chat med mig.

• Det første den viste var et kort Python script til at indlæse data fra Excel-filen.
• Så fik jeg forevist resultatet i form af et overblik,
• samt tre forslag til hvilke aspekter der kunne være mest interessante at se på.

Jeg valgte to af de tre, og ChatGPT generede to grafer med tilhørende beskrivelser, hvor I kan se den ene her:

Programmering 

Som en sidste test bad jeg de tre chatbotter skrive et simpelt Python script til mig.

Jeg ville have at scriptet skulle fungere som en normal terning, og have en simpel GUI (graphical user interface) i form af et vindue med en knap og resultatet af terningkastet. 

Alle tre skrev hurtigt et kort script på 20-30 linjer.

ChatGPT lavede en god beskrivelse af hvordan scriptet fungerer og hvad jeg skulle være opmærksom på.

Bing fortalte hvordan jeg kunne køre scriptet, men kom ikke med en beskrivelse. Bing havde til gengæld tilføjet beskrivende kommentarer direkte i scriptets kode.

Både ChatGPT og Bings terningkast script fungerede som ønsket med et lille vindue med en knap.

Bards svar havde en beskrivelse af scriptet ligesom ChatGPT og havde ligesom Bing også inkluderet beskrivende kommentarer direkte ind i koden.

Desværre fungerede scriptet ikke.

Jeg fik et korrekt vindue frem, men der kom intet resultat når jeg klikkede på knappen ’Kast’.

Jeg kan ikke udelukke, at der måske er en nem løsning på dette, men da jeg ikke er programmør, er Bards umiddelbare svar desværre ikke brugervenligt nok i denne test. 

Konklusion 

Det er svært at sige hvilken chatbot der er den bedste. De udmærker sig på forskellige måder.

Det er lidt nemmere at sige hvilken af de tre, der ikke er den bedste.

I min optik, efter at have afprøvet den og testet på forskellige måder, er Google’s Bard stadig underlegen i forhold til Bing og ChatGPT.

Det er dog vigtigt at pointere, at Bard er den nyeste af de tre og endnu er i beta. Det kan slet ikke udelukkes, at Google formår at komme op på siden af konkurrenterne eller måske overhale dem. 

Både ChatGPT og Bing er effektive værktøjer.

En klar fordel ved Bing er, at den er gratis og kan tilgå internettet via Bing søgninger.

Jeg vil derfor give Bing fordelen, så længe man ikke ønsker at have penge op af lommen.

Ønsker man derimod at have adgang til den til dato mest avancerede model der kan modtage datafiler og analyserer dem, og ikke har noget imod at betale de 25 USD det koster, så får man med ChatGPT-4 en AI-schweizerkniv uden lige.