Google Bard in Nederland: nog veel fouten, maar ook voordelen ten opzichte van ChatGPT

Google heeft zijn antwoord op ChatGPT gelanceerd in Nederland: Google Bard. De chatbot kan teksten of code generen, maar ook met je in gesprek gaan over vrijwel elk onderwerp. Vooral dat laatste gaat vaak niet helemaal goed. In dit artikel zet ik voor- en nadelen van Bard op een rijtje.

Inmiddels is het acht maanden geleden dat OpenAI zijn chatbot ChatGPT lanceerde, en ik weet niet hoe het voor jou is, maar ik maak vrijwel dagelijks gebruik van de chatbot. Vooral voor het samenvatten van informatie, en het sparren bij het schrijven van artikelen of code. Vooral sinds ik het taalmodel GPT-4 gebruik (dankzij het ChatGPT Plus-abonnement), haal ik veel waarde uit de chatconversaties. Uiteraard kun je niet blind vertrouwen op ChatGPT (en moet je op privacy-gebied goed op letten), maar de conversaties maken mij over het algemeen een stuk productiever.

Google voelt zich bedreigd door de snelle opkomst van ChatGPT en heeft daarom zijn AI-chatbot Bard afgelopen week in tientallen landen gelanceerd, waaronder in Nederland. In de Verenigde Staten konden gebruikers al in maart aan de slag met Bard (of als je net zoals ik gebruik maakt van een VPN-verbinding – zelf gebruik ik NordVPN).

Onjuiste informatie

Google vermeldt bij Bard nadrukkelijk dat het een Experiment is en ook dat de chatbot beperkingen heeft en niet altijd juiste informatie teruggeeft. Aan die disclaimers is helaas niks gelogen. Bard heeft actuele kennis en weet mij te vertellen dat het kabinet Rutte IV is gevallen en we nu een demissionair kabinet hebben. In het antwoord dat ik terugkrijg is de reden voor de kabinetsval echter de toeslagenaffaire. Dat was echter de oorzaak van de val van Rutte III, in het juiste antwoord had moeten staan dat de oorzaak de kabinetscrisis over asiel was. Een logische vergissing, maar wel foutieve informatie.

Bij techsite Bright gaat Bard nog een stukje verder. Volgens de chatbot is Mark Rutte getrouwd met ontwerpster Annemaria Mosterd en heeft hij samen met haar een zoon en twee dochters. Een Google-woordvoerder laat tegenover Bright weten dat ze op de hoogte zijn van het gedrag: “Het is bekend dat zulke taalmodellen kunnen hallucineren en onjuiste informatie als feit presenteren. Het is een uitdaging voor onderzoekers en wetenschappers om dat op te lossen. Daar zetten we stappen in. Bard is in de eerste plaats een creatieve tool om nieuwe dingen te maken, niet om bestaande content te reproduceren.”

Hoewel chatbots iedere keer een nieuw antwoord generen, is het wel duidelijk dat ergens in de trainingsdata staat dat Mark Rutte een relatie heeft. Ik krijg van de chatbot namelijk dit te horen als ik naar Mark Rutte vraag: “Rutte is getrouwd en heeft drie kinderen.”

Ook als ik naar informatie over mijzelf vraag krijg ik een antwoord dat op het eerste gezicht juist lijkt. Ik ben geboren in Nederland, ben zowel journalist als data-analist, en werk bij AVROTROS en daarnaast ook als freelancer.  Ik werk echter niet bij de Volkskrant en heb ook niet de data-visualisatiesite data.volkskrant.nl gemaakt. Een site die overigens op dit moment niet eens bestaat.

Bard over Tjitze Zijlstra

Overigens is Bard niet de eerste chatbot die informatie verzint. In het verleden heb ik bij ChatGPT ook mijzelf wel eens opgezocht en kreeg daarbij verschillende antwoorden waaruit bleek dat ik een politicus was die in Tweede Kamer heeft gezeten. Bij Microsoft’s Bing Chat krijg ik voor deze vraag meestal de meest betrouwbare informatie, maar ik denk dat Microsoft’s andere product, LinkedIn, daar een belangrijke rol in speelt.

Bard schakelt terug naar Engels

Wat ik ook irritant vind aan Bard is dat de chatbot op dit moment de neiging heeft om terug te schakelen in het Engels. Halverwege een gesprek verandert de taal, bijvoorbeeld doordat ik een Engelstalige quote of een foutmelding met de chatbot deel. Op dat vlak presteert ChatGPT een stuk beter.

Voordelen Bard ten opzichte van ChatGPT

In de afgelopen maanden heb ik ChatGPT als eerste hulp en Bard als back-up. Een groot voordeel van Bard is dat de chatbot is verbonden met het internet, bij ChatGPT is de informatie bijgewerkt tot november 2021. Vooral bij het programmeren is het soms irritant dat je een functionaliteit wil gebruiken die na november 2021 is gelanceerd, maar die niet door ChatGPT wordt herkend. In die situaties brengt Bard uitkomst.

Ook valt op hoe snel Bard is. Waar ChatGPT soms nog een paar secondes langer blijft nadenken, daar zie je bij Google’s chatbot vrijwel direct resultaat. Het scheelt uiteraard ook dat Google direct het hele antwoord toont in plaats van woorden los lijkt te typen (alhoewel dit recent bij ChatGPT 3.5 ook veel sneller is geworden).

Een derde voordeel is dat je bij Bard foto’s kunt gebruiken als input (bij ChatGPT is dit nog niet mogelijk). Hierbij maakt Google gebruik van haar Lens-technologie. Overigens is deze functionaliteit momenteel alleen beschikbaar als je je prompts in het Engels schrijft en worden foto’s van mensen nog niet ondersteund. Ik heb een foto van mijn favoriete auto gebruikt als input en krijg het volgende antwoord:

Porsche-afbeelding in Bard

De combinatie tussen afbeelding en chatbot is niet alleen een leuke gimmick, maar heeft ook daadwerkelijk praktisch nut. Ik heb een foto van een kabel naar Bard gestuurd, met daarbij de vraag of ik mijn PlayStation ermee kan verbinden. Zonder dat je hoeft te weten hoe een kabel heet, kan de chatbot aangeven wat voor kabel het is en of je hem bijvoorbeeld kan gebruiken voor het verbinden van je PlayStation. Ideaal!

Vraag aan Bard over VGA en PlayStation

Pas op voor nepsamenvattingen!

Als je in Bard een link naar een artikel plaatst, met de vraag of de chatbot er een samenvatting kan maken, krijg je op het eerste gezicht een plausibele samenvatting. Het probleem is echter dat Bard niet de informatie van de link ophaalt, maar de steekwoorden uit de link gebruikt om een antwoord te bedenken. Gooi maar eens een niet-bestaande link in de chatbot met de vraag om een samenvatting. Je zult een prachtige samenvatting krijgen van een artikel dat niet bestaat…

Ik heb zelf een artikel gepakt van het AD, en daarbij ad.nl aangepast naar nu.nl. Dit is de volledige link:
nu.nl/nederlands-voetbal/recordinternational-wesley-sneijder-opnieuw-in-gesprek-met-ajax-nu-over-rol-in-technische-staf~a2b69a41/

Bard geeft als samenvatting: “Wesley Sneijder is opnieuw in gesprek met Ajax over een rol in de technische staf. De 39-jarige oud-international zou een assistent-trainer kunnen worden van coach Alfred Schreuder.”. In de samenvatting staat verder dat de gesprekken zich in een vroeg stadium bevinden, dat Sneijder al eerder gesprekken heeft gevoerd met Ajax, en dat het nog niet bekend is dat beide partijen tot een akkoord zullen komen.

AI in Google Zoek

Google is naast Bard ook bezig om met AI antwoorden te genereren in de zoekmachine. Deze functionaliteit bevindt zich in een testfase en is nog niet beschikbaar in Nederland (behalve via VPN). Het onderliggende taalmodel van AI Search is net als bij Bard PaLM 2, maar de antwoorden die je uit de zoekmachine krijgt zijn gelukkig een stuk betrouwbaarder. Hieronder het antwoord van AI Search op de vraag of Mark Rutte getrouwd is:

Google AI Zoek: Mark Rutte

Conclusie: hardlopers zijn doodlopers?

Google Bard is op dit moment snel, heeft een paar interessante functionaliteiten, maar geeft vooral veel onjuiste informatie. Je merkt aan alles dat ChatGPT op dit moment al een stuk volwassener is. Aan de andere kant is ChatGPT in de afgelopen acht maanden ontzettend veel verbeterd. In potentie kan Google hetzelfde bereiken met Bard. Bard is nu nog geen ideale digitale hulp, maar heeft zeker potentie. Ik zou zeggen: probeer er voor nu vooral even uit. Als je er echt gebruik van wilt maken, dan moet je denk ik nog een paar maanden geduld hebben.

Deel dit artikel: