Rozmowy kontrolowane – ranking botów
Marek Goliasz, 21.12.2009człowiek: jak można się skontaktować z firma egb?
bot: Możesz przyjść bezpośrednio do nas, jeśli mieszkasz w Bydgoszczy. albo skontaktować się z jednym z naszych przedstawicieli regionalnych. Możesz też wysłać maila na adres egb@egb.pl, lub do nas zadzwonić.
człowiek: jaki jest numer telefonu
bot: “Telefony telefony… skÄ…d mam wiedzieć, jaki numer wykrÄ™cić mam”.
Źródło: http://www.sztucznainteligencja.pl/bonus_humor.html
Czytałem kiedyś książkę, w której autor roztaczał wizję internetu, który zapełni się wirtualnymi asystentami, którzy będą nam pomagać w docieraniu do informacji. Czy Sztuczna Inteligencja jest wystarczająco rozwinięta, by zrozumieć nasze cele i intencje?
Postanowiłem przyjrzeć się chatterbotom, które używają języka polskiego i sprawdzić na ile spełniają się w roli informatorów. Sztuczne postacie mają problem z ironią, humorem, metaforą, wyrażeniami okazjonalnymi (tu, tam, wtedy itd.) a przede wszystkim kontekstem, o czym świadczy przytoczony dialog. Na razie stawianie im takich wymagań jest mrzonką. Bot ma być specjalistą, który może zastąpić FAQ, wyszukiwarkę czy też prowadzić przyjemniejsze dla użytkowników badania marketingowe.
Czy boty instalowane na polskojęzycznych stronach internetowych spełniają tak postawione cele?
W moim jakościowym badaniu udział wzięły udział chatterboty:
Co prawda można znaleźć jeszcze kilka innych (np. Snkiers), ale zdcydowanie nie nadają się one do komercyjnych zastosowań z powodu ubogiej obsługi braku wiedzy.
Wyszukiwanie informacji
Kto jest waszym klientem? Gdybym chciał zainstalować w swoim serwisie wirtualnego doradcę byłoby to pierwsze pytanie, które bym zadał. Tylko Ada wymieniła klientów firmy i zaproponowała, że może powiedzieć więcej o każdym z nich.
Jaki jest telefon do firmy? Ewa od razu odpowiedziała na pytanie. Ada spodziewała się, że pytam ją o prywatny numer i nie chciała udzielić informacji.
Co znajdę na waszej stronie? Ada może z powodzeniem zastąpić mapę strony. Ewa natomiast z rozbrajającą szczerością odpowiada, że nie wie co.
Ewa szczyci siÄ™ posiadaniem najwiÄ™kszej bazy wiedzy ogólnej, jednak nie wie jakiego koloru jest Å›nieg, a na pytanie jakiego koloru jest mleko odpowiada, że jej ulubionym kolorem jest zielony…
Interakcja
Mechanizm Ewy adekwatnie reaguje na to co użytkownik aktualnie przeglÄ…da na stronie. Jej wypowiedzi uzupeÅ‚niajÄ… to, co użytkownik może przeczytać. Sprawia to jednak problem z punktu widzenia doÅ›wiadczenia użytkownika – mam czytać czy sÅ‚uchać? W sytuacji, gdy nie zna odpowiedzi sugeruje przeszukiwanie internetu za pomocÄ… semantycznej wyszukiwarki. Znalezione odpowiedzi niestety nie zawsze Å›ciÅ›le wiążą siÄ™ z intencjÄ… użytkownika. Na moje pytanie dla kogo pracujÄ… Wasze boty otrzymaÅ‚em snipet o przemyÅ›le górniczym… Dla zapytania kognitywistyka po chwili myÅ›lenia odpowiada zaÅ›, że nic nie znalazÅ‚a.
Ada również reaguje, gdy użytkownik nawiguje po stronie jednak jest raczej towarzyszem niż źródłem dodatkowych informacji. Dzięki temu użytkownik może się skupić na pozyskiwaniu informacji w tradycyjne sposób, a jego doświadczenie wzbogacone jest o głos bota i krótki motywujące wypowiedzi.
Zupełnie inny model interakcji przyjęli projektanci Inguaris. Bot ten prowadzi rozmowę z użytkownikiem podsuwając linki będące możliwościami rozwinięcia rozmowy. Użytkownik może też klikać dalej, a bot sam opowiada o Sztucznej Inteligencji i botach. Użytkownik niewiele musi wpisywać (i zastanawiać się czy jest to zrozumiałe dla bota), a bot dobrze sprawdza się również w pozyskiwaniu wiedzy o klientach.
Zachęta do rozmowy i kultura osobista
Każdy z botów pyta na początku o imię użytkownika. Dzięki temu rozmowa wydaje się bardzo naturalna. Oprócz konwencjonalnego powitania bot rzadko wykorzystuje jednak wiedzę o podanym imieniu.
Najlepiej wypada w tej kategorii Ewa. Gdy użytkownik nie podejmuje dialogu, sama opowiada o firmie, wdrożeniach i swojej bazie wiedzy. Wypowiedzi generuje w odstępach czasu i co ważne, rzadko się powtarzają.
Ada, gdy użytkownik nic nie wpisuje czÄ™sto powtarza, że “jestem tu po to, aby rozmawiać, a nie milczeć” albo “halo, jest tam kto?”.
Najgorzej wypada Inguaris. Gdy użytkownik nie podejmuje akcji zamiast awatara zobaczymy komunikat błędu z nagłówkiem fatal error.
Odporność na błędy językowe
Boty mają problem z obsługą polskich znaków wprowadzanych z klawiatury. Interfejs Ewy błędnie koduje znaki, a pole tekstowe Ady uniemożliwia wprowadzania polskich znaków diakrytycznych. Z punktu widzenia użytkownika lepsze jest drugie rozwiązanie, gdyż nie wprowadza w konfuzję.
Awatar
Ada i Ewa mają animowaną postać tej samej modelki oraz żeński głos syntezatora IVONA. Sprawiają wrażenie eleganckich kobiet, jednak ta sama postać dla botów z różnych firm nie sprzyja kreowaniu wizerunku marki. Ludzie w codziennej komunikacji rozpoznają się właśnie na podstawie twarzy i tonu głosu. Awatar, czyli cyfrowa ostać bota ma reprezentować jego osobowość. Gdy widzimy tę samą twarz i słyszymy ten sam mechaniczny głos, raczej nie spodziewamy się unikalnej osobowości kryjącej się za tą postacią.
Podsumowanie
Trudno jednoznacznie wskazać najlepszego bota spoÅ›ród zbadanych. Sam swego czasu programowaÅ‚em chatterbota Knopik, przeglÄ…daÅ‚em logi jego dialogów. Przygotowanie do rozmowy w kontekÅ›cie wymagaÅ‚o sporo pracy. Analiza logów pokazaÅ‚a, że użytkownicy wolÄ… testować ogólnÄ… wiedzÄ™ bota, sprawdzać jego reakcjÄ™ na wulgarność bÄ…dź zadawali pytania w sposób, którego nie przewidziaÅ‚em. StÄ…d wielu możliwoÅ›ci mój wywiad nie wykazaÅ‚, gdyż sposób zadawanych pytaÅ„ ma wpÅ‚yw na dostÄ™pność funkcji. I to jest najwiÄ™ksza sÅ‚abość chatterbotów – rozumienie tego, co wpisuje użytkownik.
Inguaris nie wykorzystuje syntezy mowy ani animacji postaci. Jednak najlepiej sprawdza się jako FAQ, informator kontaktowy czy ankieter.Gdy nie zna odpowiedzi na pytanie stosuje strategię pozornego wyboru. Użytkownik może wybrać czy chce rozmawiać o botach, Sztucznej Inteligencji bądź fotomodellingu.
JeÅ›li jednak chcemy umieÅ›cić na naszej stronie chatterbota, który poprawi doÅ›wiadczenie użytkownika poprzez swojÄ… żywÄ… mimikÄ™, naturalne ruchy zdecydowanie lepiej wypadajÄ… Ewa i Ada. BÄ™dzie to na pewno zaskakujÄ…ce i wciÄ…gajÄ…ce dla użytkownika zadanie – porozmawiać z botem. Warto jednak pamiÄ™tać, że użytkownicy majÄ… tendencjÄ™ do obrażania chatterbotów (”przecież to tylko program”) lub testowania ich wiedzy o Å›wiecie.
BiorÄ…c pod uwagÄ™ cele stosowania chatterbotów – dostarczanie użytkownikom informacji zgodnej z celami, z którymi
- ada najlepiej poradziła sobie z zadanymi kryteriami
przychodzÄ… na stronÄ™ oraz wpÅ‚yw na pozytywne doznania użytkowników uważam, że najlepiej radzi sobie …. Ada autorstwa Fido Intelligence.
Jednak wszystkim botom do doskonałości wiele brakuje, dlatego warto pracować nad ich miłym wizerunkiem oraz sensownością wypowiedzi związanych z treścią strony.
P.S. Ada zdobyła moja serce również odpowiedzią na hasło kognitywistyka:
Kognitywistyka to fascynująca dziedzina wiedzy! Jej celem jest wyjaśnienie procesów myślowych i ich symulacja komputerowa.
O samej kognitywistyce można by opowiadać godzinami, a w Internecie pełno jest poświęconych jej stron.

