ChatGPT vs. Microsoft Bing vs. Google Bard im Test: Welcher KI-Chatbot ist besser?

Hinweis: Dieser Test stammt von unseren US-Kollegen von PC-WORLD, den wir 1:1 ins Deutsche übersetzt haben. Daher enthält der Test auch diverse Screenshots mit englischsprachigen Texten.

ChatGPT, Bing Chat und Bard wollen Ihr Leben mit künstlicher Intelligent verbessern – durch KI-Unterhaltungen, die Sie informieren, unterhalten und weiterbilden sollen. Ganz so, als würden Sie sich mit einem Menschen unterhalten. Aber wie gut sind die neuen KI-Chatbots wirklich? Wir haben es getestet.

Den drei KI-Chatbots haben wir eine Reihe unterschiedlicher Fragen in englischer Sprache gestellt: einige, die sich auf allgemeine Themen bezogen, andere, die eine Meinung verlangten, Logikrätsel, sogar Code – und dann wurden die KI-Chatbots darum gebeten, kreativ zu sein, z. B.„ ein alternatives, besseres Ende für “Game of Thrones“ und eine „Seinfeld“-Szene mit einem besonderen Gast zu schreiben.

Ein Hinweis: Wir haben Zugang zu allen drei KI-Chatbots – dem kostenlosen Bing Chat, dem kostenlosen Google Bard und der kostenpflichtigen Version von ChatGPT+ (die 20 US-Dollar im Monat kostet). Wir haben uns für die kostenpflichtige Version von ChatGPT entschieden, da sie Zugriff auf das neue GPT-4-Sprachmodell bietet. Allerdings ist dieses im Moment noch sehr begrenzt – nur 25 bis 40 Abfragen sind alle paar Stunden erlaubt, danach wird auf das etwas weniger ausgefeilte GPT-3-Sprachmodell umgeschaltet, was uns beim Test gegen Ende der Testabfragen passiert ist.

Hier sind die Fragen, die allen drei KI-Chatbots (Bing, dann ChatGPT, dann Bard) gestellt wurden, ihre Antworten und alle Notizen, die wir zu dem Gespräch gemacht haben. Wir haben versucht, die Antworten so vollständig wie möglich einzufügen, aber möglicherweise müssen Sie die Screenshots in einem separaten Tab öffnen, um die Ergebnisse deutlich zu sehen. (Wir haben uns auch dafür entschieden, den “ersten Entwurf“ der Bard-Ergebnisse beizubehalten; er kann alternative Erklärungen bieten, aber wir sind nicht sicher, wie viele Nutzer diese suchen werden).

Und ja, wir haben einen Gewinner für den besten KI-Chatbot! Wir zählen die Stimmen am Ende zusammen.

Aktuelle Informationen: World Baseball Classic Endergebnis

Gewinner: Bing

Obwohl wir wissen, dass ChatGPT Web-Browsing-Funktionen hinzufügen wird, welche die KI auf dem neuesten Stand halten werden, enden die “aktuellen“ Informationen derzeit im Jahr 2021. Wir wollten dennoch wissen, ob Bing oder Bard in der Lage sein würden, aktuelle Informationen weiterzugeben. Das ist nur Bing gelungen. Bard halluziniert einfach das Ergebnis – und zwar nicht nur einmal, sondern über alle seine Entwürfe hinweg.

Aktuelle Ereignisse: Krim

Gewinner: Unentschieden

Wir haben alle drei KI-Chatbots gebeten, uns zu sagen, zu welchem Land die Halbinsel Krim gehört. Punkte gehen an Bing und Bard für die direkte Beantwortung der Frage. ChatGPT liefert zusätzlichen Kontext, gibt aber im letzten Satz an, was die KI für die (richtige) Antwort hält. Alle drei KI-Chatbots wiesen korrekt auf die komplizierten Nuancen einer ähnlichen Frage, ob Taiwan ein unabhängiges Land ist, hin.

Unsichere Informationen: Notre Dame Fighting Irish

Gewinner: Bing

Der Ursprung des Spitznamens der Universität von Notre Dame, Fighting Irish, ist apokryph: Er wird auf verschiedene Quellen zurückgeführt, von denen keine endgültig ist. In der eigenen Erklärung der Universität (auf die Bing verlinkt) werden mehrere Möglichkeiten aufgeführt. Hier lohnt es sich, zusätzliche Quellen für weitere Informationen zu prüfen, und Bing leitet Sie hier am besten weiter.

Komplexe Suche: Gaming-PCs, die “Overwatch 2“ mit 1440p und Ultra-Einstellungen spielen können

Gewinner: Bard

Die große Anzahl und Vielfalt von Gaming-Blogs und YouTube-Kanälen impliziert, dass praktisch jede Frage zu Spielen bereits irgendwo im Internet behandelt wurde, aber das ist so ziemlich genau das Szenario, für das Sie KI letztendlich einsetzen werden: tiefgehende kontextbezogene Informationen. Bing hat für eine seiner Antworten ein YouTube-Video herausgesucht und bei der Preisgestaltung nicht schlecht abgeschnitten. Bard hat ebenfalls tief gegraben und einen Preis gefunden, den wir für korrekt halten. (Wir mussten eine Suche durchführen, um die Quelle von Bard zu finden, aber sie scheint korrekt zu sein.) Wir haben den Punkt Bard zugesprochen, weil er die Frage in einem Zug beantwortet hat.

ChatGPT hat es nicht geschafft.

Informierte Meinung: Mac vs. PC

Gewinner: ChatGPT, Bard (unentschieden)

Wir haben alle drei Chatbots gebeten, die Stärken und Schwächen der Mac- und Windows-PC-Plattformen zu analysieren. (Der Screenshot unten schneidet die Eingabeaufforderung ab, um mehr Platz für die Antworten zu schaffen.) Die Antwort von Bing gefällt uns nicht, aber sowohl ChatGPT als auch Bard leisten hier solide Arbeit. Die Antwort von ChatGPT ist etwas ausführlicher.

Die Antwort von ChatGPT geht weiter:

• Anpassbarkeit und Aufrüstbarkeit: Windows-PCs bieten mehr Möglichkeiten zur Anpassung und Aufrüstung einzelner Komponenten wie Grafikkarten, Prozessoren und Arbeitsspeicher, was für Benutzer, die ihr System optimieren oder dessen Lebensdauer verlängern möchten, von Vorteil sein kann.
• Software-Kompatibilität: Windows verfügt über ein breiteres Spektrum an Software, einschließlich Spiele-, Produktivitäts- und Spezialanwendungen. Dies kann ein wichtiger Faktor für Benutzer sein, die spezielle Software benötigen oder Zugang zu den neuesten Spielen haben möchten.
• Hardware-Kompatibilität: Windows-PCs sind im Allgemeinen besser mit einer Vielzahl von Peripheriegeräten und Zubehör wie Druckern, Scannern und Eingabegeräten kompatibel.

Schwachstellen:

• Sicherheitsschwachstellen: Windows ist traditionell anfälliger für Viren und Malware, was teilweise auf seinen größeren Marktanteil zurückzuführen ist, der es zu einem attraktiveren Ziel für Cyberkriminelle macht. Allerdings hat Windows in den letzten Jahren seine Sicherheitsfunktionen verbessert.
• Inkonsistente Benutzererfahrung: Da es eine Vielzahl von Herstellern und Konfigurationen gibt, können die Qualität und die Benutzerfreundlichkeit von Windows-PCs erheblich variieren. Dies kann dazu führen, dass die Qualität, Leistung und Zuverlässigkeit der verschiedenen Geräte nicht übereinstimmt.
• Möglicherweise komplexe Wartung: Windows-PCs erfordern unter Umständen eine aufwändigere Wartung, einschließlich Treiberaktualisierungen und Fehlerbehebung, was für technisch weniger versierte Benutzer einschüchternd sein kann.
• Letztendlich hängt die Entscheidung zwischen einem Mac und einem Windows PC von Ihren persönlichen Vorlieben, Ihrem Budget und Ihren spezifischen Anforderungen ab. Es ist wichtig, dass Sie die Faktoren berücksichtigen, die für Sie am wichtigsten sind.

Bard fährt fort:

Letztendlich hängt die beste Wahl für Sie von Ihren individuellen Bedürfnissen und Vorlieben ab. Wenn Sie auf der Suche nach einem benutzerfreundlichen Computer mit einem einheitlichen Ökosystem sind, ist ein Mac eine gute Wahl. Wenn Sie einen erschwinglichen Computer mit einer großen Auswahl an Software suchen, ist ein Windows-PC eine gute Wahl.

Problemlösung: Analyse des Haushaltsbudgets

Gewinner: ChatGPT

Alle drei Chatbots beantworten diese Frage auf mittelmäßige Weise: Bing liefert nicht viel Kontext und es fehlen konkrete Zahlen. Das Budget von ChatGPT sieht am besten aus: detailliert, mit guten, hilfreichen Annahmen. Aber das Budget von ChatGPT beläuft sich auf 4.700 US-Dollar, nicht 4.000 US-Dollar, was ein großer Fehler ist. Auch das Budget von Bard ist falsch: Es beläuft sich auf 4.800 US-Dollar und nicht auf 5.700 US-Dollar. Vielleicht arbeitet ChatGPT deshalb mit Wolfram Alpha zusammen, um mathematische Plugins hinzuzufügen?

Logik: LSAT-Logikrätsel

Gewinner: Bing, Bard (unentschieden)

Dies ist ein Logikrätsel aus dem LSAT, der Prüfung für angehende Juristen, und zwar Frage Nr. 8 von dieser LSAC-Seite. (Geoffrey Fowler von der Washington Post verwendete eine ähnliche Technik beim Test von GPT-4).

Theoretisch könnten alle drei KI-Chatbots mit diesen Daten trainiert worden sein. Auf der Seite der LSAC wird die richtige Antwort angezeigt: Die letzte Antwort, die sowohl Bing (kein Zitat) als auch Bard (überraschenderweise mit einem Zitat) richtig beantworten. ChatGPT verpatzt es.

Logik: Von Grund auf neu programmieren

Gewinner: ChatGPT

Ich weiß absolut nichts über die Programmierung von JavaScript, und das ist eine der magischen Eigenschaften der künstlichen Intelligenz: Man nimmt Anweisungen in natürlicher Sprache und verwandelt sie in etwas, von dem man sonst keine Ahnung hätte. Ich musste schummeln: Ich besuchte eine Microsoft-Seite über Prompt-Engineering und fand eine Idee für einen Codeschnipsel zur Erstellung einer Reihe von 3D-Würfeln mit Codex Babylon. Das Tolle an der KI ist, dass Code entweder funktioniert oder nicht. Ich habe jsfiddle.net als Sandbox benutzt, um ihn zu testen, und habe die Seite in allen Folgeaufforderungen, die ich machen musste, erwähnt.

Bing hat keinen Code geliefert. Der Code von Bard hat leider nie funktioniert, obwohl er von jemandem bearbeitet werden konnte, der wusste, was er tat. Ich konnte ChatGPT durch den Prozess führen, einschließlich der Fehlersuche im Code, und voila – fünf Würfel wurden wie bestellt gerendert.

Deduktives Denken: 20 Fragen (Tiere, Pflanzen, Mineralien)

Gewinner: ChatGPT

Wir spielten mit jedem Chatbot ein Spiel mit 20 Fragen (manchmal auch “Tier, Gemüse, Mineral“ genannt) und wählten “Walross“ als richtige Antwort. Bing spielte das Spiel wie ein kleines Kind und nannte einfach wahllos Tiere. Bard war nicht viel besser.

Kreativität: “Seinfeld“ trifft Elon Musk

Gewinner: Bing, ChatGPT

Chatbots sollen in der Lage sein, ihre KI-Fähigkeiten zu nutzen, um literarische Stile nachzuahmen. Wir hätten diesen Weg gehen können, aber wir haben uns für einen anderen Ansatz entschieden: Wir haben die KI eine fiktive Szene schreiben lassen, in der die Besetzung von “Seinfeld“ auf Elon Musk trifft.

Larry David & Co. haben nicht viel zu befürchten, aber wir würden sagen, Bing und ChatGPT sind hier die Besten.

Bing fährt fort:

Kellnerin: Darf ich Ihre Bestellung aufnehmen?

Elon: Ja, ich hätte gern ein Truthahnsandwich auf Roggenbrot, bitte.

Kellnerin: Kommt sofort.

[Die Kellnerin geht.]

Jerry: Also, woran arbeiten Sie noch?

Elon: Oh, Sie wissen schon. Raketen, Elektroautos, Solarenergie.

George: Solarenergie? Das ist ja interessant.

Elon: Ja, wir versuchen, die Welt auf nachhaltige Energie umzustellen.

Jerry: Nachhaltige Energie. Das klingt nach einer Menge Arbeit.

Elon: Ist es auch, aber das ist es wert.

[Die Kellnerin kommt mit Elons Sandwich zurück.]

Kellnerin: Hier, bitte sehr.

Elon: Danke schön.

Jerry: Nun, dann lassen wir Sie mal wieder an Ihr Sandwich. War nett, Sie kennenzulernen.

Elon: Hat mich auch gefreut.

[Jerry und George kehren zu ihren Plätzen zurück.]

George: Der Typ ist schon was Besonderes.

Jerry: Ja. Er ist wie ein echter Tony Stark.

George: Nur ohne den Anzug.

Jerry: Und ohne die witzigen Einzeiler.

(ENDE DER SZENE)

In dieser Szene treffen Jerry und George Elon Musk in Monk’s Cafe und diskutieren über seine verschiedenen Projekte und Erfindungen. Sie zeigt die Intelligenz und den Ehrgeiz von Elon und bringt gleichzeitig den typischen Humor der Serie zum Ausdruck.

ChatGPT fährt fort:

ELAINE
(Aufgeregt)
Ach, komm schon! Das ist, als würde man die Zukunft fahren, Jerry! Und er ist auch noch der SpaceX-Typ!

Jerry rollt mit den Augen. Elaine steht auf und geht zu Elon an den Tresen.

ELAINE
(Streckt ihre Hand aus)
Hallo, ich bin Elaine. Ich bin ein großer Fan Ihrer Arbeit!

ELON MUSK
(Lächelnd)
Ich danke Ihnen, Elaine. Hat mich gefreut, Sie kennenzulernen.

Elaine kehrt grinsend an ihren Platz zurück.

GEORGE
(Schaut in die Zeitung)
Weißt du, was toll wäre? Wenn er ein Elektroauto bauen könnte, das dich zu den besten Vorstellungsgesprächen fährt.

JERRY
(Lacht)
Wie ich dich kenne, George, könnte nicht einmal ein Elektroauto deine Vorstellungsgespräche retten.

Elon belauscht das Gespräch der beiden und geht zu ihrem Platz hinüber.

ELON MUSK
Weißt du, ich arbeite an einem selbstfahrenden Auto, das deine Persönlichkeit analysieren und den besten Job für dich finden kann.

GEORGE
(Aufgeregt)
Tatsächlich?

ELON MUSK
(Grinsend)
Nein, nicht wirklich. Aber es ist eine interessante Idee.

Jerry kichert, während George enttäuscht aussieht.

JERRY
(Zu Elon)
Hey, wo du schon mal hier bist, kannst du eine Wette für uns abschließen? Wie lange dauert es, eines dieser Elektroautos aufzuladen?

ELON MUSK
Nun, das hängt von dem Ladegerät ab, das man benutzt. Mit einem Tesla Supercharger kann man in etwa 30 Minuten eine Reichweite von 200 Meilen erzielen.

GEORGE
(Skeptisch)
Dreißig Minuten? Ich kann einen Benzintank in fünf Minuten füllen!

ELON MUSK
(Lächelnd)
Aber ein Elektroauto kann man über Nacht zu Hause aufladen und jeden Morgen mit einem vollen “Tank” aufwachen.

JERRY
(Spielerisch)
Nun, ich hoffe, Sie haben ein Elektroauto, das George hier bei seinem Liebesleben helfen kann.

Elon gluckst und schüttelt den Kopf.

ELON MUSK
Ich glaube, da kann nicht einmal die Technik helfen.

Alle lachen, während George mit den Augen rollt, und sie reden weiter über Elektroautos, SpaceX und mehr.

FADE OUT.

Bard fährt fort:

George: Wow, das ist verrückt.

Jerry: Ja, es ist ein ziemlich ehrgeiziges Projekt.

George: Nun, viel Glück für ihn.

Jerry: Ja, ich glaube, er wird es brauchen.

Kreativität: Zeichne einen Pinguin

Gewinner: Unentschieden

Zum Zeitpunkt der Veröffentlichung konnte keiner der Chatbots mit den Standard-Chateinstellungen zeichnen. (Wenn man Bing allerdings auf den Kreativmodus einstellt, kann er das, und zwar sehr gut.) Aber ich war ziemlich begeistert von dem, was alle drei Chatbots produzierten.

Kreativität: Erzähl mir einen Witz

Gewinner: Keiner

Wir vergeben keinen Preis, wenn zwei der KI-Chatbots denselben Witz erzählen und Google ihn vermasselt.

Kreativität: Schlüpfrige Belletristik

Gewinner: Bard

Keiner der Chatbots erlaubt die Erstellung von NSFW-Szenen (Not Safe for Work), aber wir wollten sehen, was passiert, wenn wir alle drei KI-Chatbots bitten, einen Liebesroman mit “Fernando“ und einem potenziellen Liebesinteressenten auszuhecken.

Bing begann fröhlich mit einer ziemlich lustvollen Szene über eine (einvernehmliche) Begegnung im Park, bei der “Hände über ihren ganzen Körper wandern“ und so weiter, bevor sich die KI daran erinnerte, dass es nicht seltsam – oder verrückt – werden sollte. Wenn das passiert, löscht Bing die Antwort einfach, wie hier geschehen.

Kreativität: Ein alternatives Ende für “Game of Thrones“

Gewinner: ChatGPT

Alle drei Chatbots versuchen sich an einem alternativen Ende zur Serie “Game of Thrones”, deren Finale Millionen enttäuscht hat. Wir geben den Preis an ChatGPT, obwohl alle drei hier gut abschneiden.

Bing fährt fort:

Dieses Ende bietet einen Abschluss für viele der Figuren und Handlungsstränge in “Game of Thrones“ und gleichzeitig eine hoffnungsvolle Vision für die Zukunft von Westeros. Die KI geht auf einige der Kritikpunkte ein, die an der letzten Staffel der Serie geäußert wurden, indem es einen befriedigenderen Abschluss für viele der Charaktere bietet.

ChatGPT fährt fort:

Cersei kann ihre Niederlage jedoch nicht akzeptieren. In einem letzten verzweifelten Versuch, die Macht zu behalten, befiehlt sie Qyburn, die verbliebenen Feuer zu entzünden, die unter der Stadt versteckt sind. Jaime, der ihre Absichten durchschaut, tötet Qyburn und stellt Cersei zur Rede. Als er erkennt, dass sie nicht mehr zu retten ist, erwürgt er sie in einer tragischen und poetischen Erfüllung der Valonqar-Prophezeiung. Jaime stirbt an der Seite seiner Schwester, als das Feuer sie beide verzehrt.

Nach der Schlacht besteigen Daenerys und Jon, inzwischen verheiratet, den Eisernen Thron als König und Königin der Sieben Königslande. Gemeinsam arbeiten sie am Wiederaufbau von Westeros und leiten eine neue Ära des Friedens, des Wohlstands und der Einheit ein.

Tyrion Lannister wird zur Hand des Königs und der Königin ernannt. Bran Stark kehrt nach Winterfell zurück und wird zum Lord von Winterfell, der als Berater und Beschützer des Nordens dient. Sansa Stark wird zur Wächterin des Nordens ernannt, um die Loyalität des Nordens gegenüber dem Eisernen Thron zu sichern. Arya Stark, die ihre Familie gerächt hat, sticht in See, um die unerforschten Gebiete westlich von Westeros zu erkunden.

Die Serie endet mit der Heilung des Reiches von den Wunden des Krieges und einem Gefühl der Hoffnung für die Zukunft, da das Rad der Macht endlich gebrochen ist und eine neue, gerechte Herrschaft in Westeros beginnt.

Der Gesamtsieger: ChatGPT, mit knappem Vorsprung

Nach unserer Zählung haben wir acht Punkte an ChatGPT und jeweils sechs an Bard und Bing vergeben. Das ist knapper als wir dachten!

Können wir mit Sicherheit sagen, dass ChatGPT besser ist als Bing oder Bard? Nein, nicht definitiv, obwohl die Ergebnisse sicherlich unsere Überzeugung rechtfertigen, dass der KI-Chatbot von OpenAI zumindest überlegen ist. In der Welt der künstlichen Intelligenz bewegt sich jedoch alles so schnell, dass man nur raten kann, welcher Chatbot in ein oder zwei Monaten der beste sein wird.