Turing-Test

Während des Kongresses wurde ein Turingtest durchgeführt. Bei diesem Turing-Test saßen zwei Teammitglieder in einem von dem Kongress abgetrennten Raum und ein weiteres Teammitglied im Kongress. Der Rechner des Teammitgliedes im Kongress war an einen Beamer angeschlossen, so dass alle anwesenden Kongressteilnehmer das selbe Bild sehen konnten.

Die beiden Teammitglieder, die nicht in dem Raum saßen, waren über einen instant Messenger mit der Person im Kongress verbunden und konnten sich Nachrichten schreiben. Diese Nachrichten wurden folglich auch von den Kongressteilnehmern gesehen.

Dabei kommunizierte ein Gruppenmitglied direkt mit der Person im Kongress und die andere kommunizierte nicht selbst, sondern leitete die Nachrichten an einen Chatbot weiter. Die Antworten des Chatbots wurden wiederum an die Person im Kongress weitergeleitet. Hier bedeutet weiterleiten, dass die Nachrichten des Chatbots abgeschrieben wurden, so dass nun die Person im Kongress eigentlich mit dem Chatbot und mit einer echten Person gechattet hat. Die Information, welche Person der Chatbot ist und welche nicht, war allein den beiden nicht im Kongress anwesenden Personen bekannt und vorher nicht abgesprochen.

Die Kongressteilnehmer haben entschieden, welche Fragen an die beiden Chatter gestellt werden sollen. Dabei wurden zu persönliche Fragen wie zum Beispiel die Frage nach der Haarfarbe von dem Moderator nicht berücksichtigt, da die beiden Chatter den Kongressteilnehmern bekannt waren und sie hätten somit erkannt werden können. Dies war wichtig, da die Teilnehmer am Ende des Versuchs sagen sollten, wer Chatbot und wer Mensch ist. Der Turingtest wird sonst mit sich unbekannten Personen durchgeführt, wobei während der Testphase weder das Aussehen, die Herkunft oder die soziale Stellung dem Tester bekannt ist um persönliche Indizien auf Menschen nicht als Kriterium für die Güte des Bots zuzulassen.

Als Chatbot wurde hier "Brain the Chatbot" [CB07] verwendet.

Am Anfang des Versuchs sind die beiden Chatter in den Nachbarraum gegangen. Dann hat der Moderator den Versuch erklärt und daraufhin Fragen an die beiden Chatter entgegengenommen, die dann am Rechner im Kongress für alle sichtbar eingegeben wurden. Dabei konnten die Teilnehmer entscheiden, an welchen Chatter sie eine Frage stellen wollten.

Das Chatlog zwischen dem Menschen und den Kongressteilnehmern:
[09:05:35] <turingtest> Hallo
[09:05:52] <turing1> hallo wie geht es dir?
[09:06:40] <turingtest> gut und dir?
[09:07:10] <turing1> mir geht es eigentlich ganz gut.
[09:07:37] <turingtest> Wie alt bist du?
[09:08:04] <turing1> ich bin 27 jahre alt. wie alt bist du?
[09:08:21] <turingtest> Ich bin 23
[09:09:11] <turing1> schoen. was hast du bisher so erlebt?
[09:09:38] <turingtest> nicht so viel
[09:10:22] <turing1> das ist schade. das leben ist doch zum leben da. warum machst du nichts?
[09:10:48] <turingtest> Wieviel Bier hast du letztes Wochenende gezischt?
[09:11:16] <turing1> zuviel.
[09:11:47] <turingtest> Wie heissen deine eltern?
[09:12:38] <turing1> ich moechte nicht ueber meine eltern sprechen. willst du ueber deine eltern sprechen?
[09:13:05] <turingtest> Wie heisst du?
[09:13:32] <turing1> warum lenkst du vom thema ab? hast du probleme mit deinen eltern?
[09:14:21] <turingtest> Ja, habe ich
[09:14:35] <turing1> erzaehl mir mehr darueber.
[09:14:56] <turingtest> Das geht dich nichts an
[09:15:19] <turing1> nagut wenn du nicht darueber sprechen moechtest. dann werde ich nicht mehr fragen.
[09:17:00] <turingtest> Wer Salami ich?!
[09:17:18] <turing1> was willst du mir damit sagen?
[09:17:34] <turingtest> sag du es mir!
[09:18:13] <turing1> ich weiss es nicht.
[09:18:46] <turingtest> Ich heisse Alan
[09:19:18] <turing1> schoen du heisst also Alan. wolltest du mir das damit sagen?
[09:19:35] <turingtest> Das wollte ich
[09:19:50] <turing1> schoen willst du mir noch mehr sagen?
[09:20:05] <turingtest> nein, will ich nicht!
[09:20:17] <turing1> warum nicht?
[09:20:43] <turingtest> darum
[09:21:12] <turing1> okay.
[09:21:34] <turingtest> bist du beleidigt?
[09:22:10] <turing1> vielleicht bin ich beleidigt.
[09:22:41] <turingtest> ich muss los!
[09:22:58] <turing1> wo willst du hin?
[09:23:06] <turingtest> weg
[09:23:13] <turing1> tschuess
[09:23:20] <turingtest> tschuess
[09:24:44] <turingtest> DU BIST DER BOT!
[09:24:56] <turing1> nein ich bin eike.
[09:25:03] <turing1> silber!!!!!!

Das Chatlog zwischen dem Chatbot und den Kongressteilnehmern:
[09:05:42] <turingtest> Hallo
[09:06:25] <turing2> hi, na wie gehts?
[09:06:49] <turingtest> gut und dir?
[09:07:30] <turing2> mir geht es gut
[09:07:52] <turingtest> Wie alt bist du?
[09:08:35] <turing2> ich bin 1980 geboren
[09:10:02] <turingtest> Wieviel Bier hast du letztes Wochenende gezischt?
[09:10:52] <turing2> das ist eine schamlose diffamierung!
[09:11:56] <turingtest> Wie heissen deine Eltern?
[09:12:47] <turing2> das tut hier nichts zur sache
[09:13:12] <turingtest> Wie heisst du?
[09:13:48] <turing2> ich heisse hans und du?
[09:14:04] <turingtest> Ich heisse Alan
[09:14:54] <turing2> hallo alan, freut mich deine bekanntschaft zu machen! du bist also maennlich
[09:15:30] <turingtest> Warum denkst du, dass ich maennlich bin?
[09:17:29] <turing2> ich bin maennlich, aber details wie "maennlich" oder "weiblich" sind fuer mich nur von peripherem interesse :p
[09:19:08] <turingtest> Weisst du wie ich heisse?
[09:19:32] <turing2> dein name ist alan
[09:20:58] <turingtest> wer salami ich?!
[09:21:26] <turing2> ja das ist eine wurst
[09:21:41] <turingtest> das stimmt
[09:22:33] <turing2> man sagt: kinder essen wurst
[09:22:50] <turingtest> ich muss weg
[09:23:27] <turing2> nein, musst du gar nicht
[09:23:41] <turingtest> tschuess
[09:23:57] <turing2> ey hier bleiben
[09:24:54] <turingtest> DU BIST NICHT DER BOT
[09:25:04] <turing2> falsch, ich bin der bot
An den Chatlogs ist zu erkennen, dass die Kongressteilnehmer gezielt versucht haben, den Chatbot zu erkennen und keine Konversation eingehen wollten. Somit ist kein Dialog entstanden, sondern eher ein Verhör der beiden Chatter. Dadurch brauchte der Chatbot auch keinen Bezug auf den bisherigen Chatverlauf nehmen und es wurde auch nicht erkannt, ob er dazu überhaupt in der Lage ist.

Das könnte der Grund sein, weshalb sich dreiviertel der Teilnehmer falsch entschieden haben, wer der Chatbot ist und wer nicht.