- Chatbot je akýkoľvek softvér, ktorý simuluje konverzáciu, od riadených menu až po asistentov s generatívnou umelou inteligenciou schopných interpretovať prirodzený jazyk a vykonávať zložité akcie.
- Existujú chatboty založené na pravidlách, kľúčových slovách a modeloch umelej inteligencie a modely veľkých jazykov, pričom každý z nich má rôzne silné stránky, obmedzenia a požiadavky na údaje.
- Chatboti sa už používajú v zákazníckom servise, marketingu, vzdelávaní, verejnej správe, zdravotníctve a reštauráciách, automatizujú úlohy 24 hodín denne, 7 dní v týždni a znižujú náklady, pričom stále generujú nové riziká.
- Medzi kľúčové výzvy patria halucinácie, dezinformácie, súkromie, predsudky a psychologický a pracovný dopad, ktoré si vyžadujú kombináciu technológií s dohľadom a silnými etickými rámcami.
Chatboti sa stali tvárou umelej inteligencie pre milióny ľudí. Sú na webových stránkach, v aplikáciách, na sociálnych sieťach, platformách na zasielanie správ a dokonca aj v hračkách, kde odpovedajú na otázky, uzatvárajú obchody alebo jednoducho chatujú. Napriek ich širokej prítomnosti však stále panuje značný zmätok o tom, čo presne sú zač, aké sú rôzne dostupné typy, ako si vybrať modely umelej inteligencie a aký je skutočný rozsah ich schopností.
Zároveň sa radikálne zmenila technológia, na ktorej sú založené chatboty : prešli sme od systémov založených na veľmi prísnych pravidlách ku konverzačným agentom podporovaným rozsiahlymi jazykovými modelmi schopnými generovať text takmer ako človek. To otvára svet možností... a tiež rizík, od dezinformácií až po vplyv na zamestnanosť a duševné zdravie.
Čo je chatbot a ako sa líši od chatbota s umelou inteligenciou a virtuálneho agenta?
V bežnom jazyku často hovoríme o chatbotoch, chatbotoch s umelou inteligenciou, virtuálnych asistentoch a virtuálnych agentoch, akoby to bolo to isté, ale nie všetky tieto pojmy opisujú úplne rovnaký typ technológie . Pochopenie týchto rozdielov pomáha pri výbere správneho riešenia pre každý projekt alebo spoločnosť.
Najširšia definícia chatbota je akýkoľvek softvér, ktorý simuluje ľudskú konverzáciu , či už prostredníctvom preddefinovaných ponúk a tlačidiel alebo pokročilej konverzačnej umelej inteligencie. Patria sem všetko od tradičných telefónnych systémov až po asistentov, ktorí reagujú na webových stránkach, mobilných aplikáciách, sociálnych sieťach alebo SMS.
Keď hovoríme o chatbotoch s umelou inteligenciou, máme na mysli tých, ktorí sa explicitne spoliehajú na techniky umelej inteligencie . Zvyčajne kombinujú strojové učenie, spracovanie prirodzeného jazyka (NLP), porozumenie prirodzenému jazyku (NLU) a čoraz častejšie aj modely hlbokého učenia trénované na veľkých objemoch textu. Vďaka tomu sú schopní interpretovať otázky kladené v prirodzenom jazyku, odhaľovať zámery a nuansy, učiť sa zo skúseností a generovať flexibilnejšie a prirodzenejšie odpovede.
O krok ďalej sú virtuálni agenti, ktorí nielen konverzujú, ale aj konajú . Okrem konverzačnej umelej inteligencie a hlbokého učenia často integrujú robotickú automatizáciu procesov (RPA) alebo iné back-office systémy. To im umožňuje vykonávať priame akcie bez ľudského zásahu: upraviť rezerváciu, spracovať platbu, zmeniť stretnutie alebo spustiť interný pracovný postup po pochopení zámeru používateľa.
Jednoduchý príklad ilustruje rozdiel: ak sa niekto opýta na zajtrajšie počasie, tradičný chatbot môže poskytnúť predpoveď iba v prípade, že používateľ použije konkrétnu frázu z jeho ponuky. Chatbot s umelou inteligenciou pochopí otvorenejšie otázky typu „Aké bude zajtra počasie?“ a odpovie, že bude pršať. Virtuálny agent okrem upozornenia na dážď môže navrhnúť nastavenie skoršieho budíka , aby sa predišlo dopravným zápcham, alebo dokonca spravovať preložený termín v inom systéme.
Stručná história chatbotov: od ELIZA po generatívne modely
Myšlienka stroja, ktorý vedie rozhovor s človekom, nie je nová. V skutočnosti teoretický pôvod chatbotov siaha až do roku 1950 , keď Alan Turing predložil svoj slávny test: ak je program schopný písomne konverzovať s človekom do tej miery, že sudca nedokáže rozlíšiť, kto je kto, len na základe odpovedí, môžeme považovať stroj za inteligentný.
V roku 1966 profesor Joseph Weizenbaum predstavil ELIZA, považovaného za prvého chatbota v histórii . Simuloval terapeuta a fungoval tak, že vyhľadával kľúčové slová v texte, ktorý používateľ napísal, aby generoval preddefinované odpovede, napríklad „Povedz mi viac o svojej rodine“, ak zistil slovo „matka“. Eliza síce nerozumela obsahu, ale vytvorila silnú ilúziu porozumenia, čo prekvapilo aj samotného Weizenbauma.
Krátko nato sa objavil program PARRY, ktorý v roku 1972 vytvoril psychiater Kenneth Colby a simuloval pacienta s paranojou. Medzi ďalšie priekopnícke projekty patril CYRUS, ktorý zastupoval vtedajšieho ministra zahraničných vecí USA Cyrusa Vancea a aktualizoval svoju databázu správami, a Racter, populárny v 80. rokoch ako konverzačný program.
V polovici 90. rokov sa objavil ALICE, chatbot založený na značkovacom jazyku AIML (Artificial Intelligence Markup Language) . Podobne ako ELIZA pracoval s preddefinovanými vzormi a odpoveďami, ale zahŕňal desiatky tisíc kategórií znalostí. Jeho vývoj viedol k vzniku celej komunity „Alicebotov“ a ukázal, že s dobrým súborom pravidiel môže byť bot prekvapivo presvedčivý v cielených konverzáciách.
Koncom 90. rokov bol spustený Jabberwacky, ktorý sa začal učiť odpovede z rozhovorov s používateľmi v reálnom čase, a počas roku 2000 a 2010 sa rozmnožili súťaže ako Loebnerova cena alebo The Chatterbox Challenge, zamerané na odmeňovanie botov, ktorí najlepšie napodobňovali človeka v testoch inšpirovaných Turingovým testom.
Súbežne s tým sa objavili prístupné platformy a frameworky (ako napríklad enginy Watson, LUIS a Dialogflow a služby ako collect.chat, chatfuel a FlowXO), ktoré výrazne znížili technické bariéry pri vytváraní slušných chatbotov bez veľkých vývojových tímov. To pomohlo spoločnostiam a používateľom začať používať boty ďaleko za hranicami akademickej sféry.
Skutočnú revolúciu priniesli rozsiahle jazykové modely (LLM) založené na transformačných architektúrach . Systémy ako GPT a komerčné produkty ako ChatGPT, Gemini, Claude a Grok ukázali, že je možné udržiavať plynulé konverzácie, generovať zložité texty a ľahko sa prispôsobiť množstvu úloh bez špecifického školenia. Tieto modely viedli k vzniku novej generácie generatívnych chatbotov, ktorí sú schopní reagovať, sumarizovať, prekladať, písať kód a dokonca aj uvažovať v rámci určitých limitov, a predstavujú riziká ako tieňové modely.
Hlavné typy chatbotov podľa ich technológie
Pre lepšie pochopenie toho, čo môžete od bota očakávať, je užitočné rozlišovať medzi rôznymi typmi chatbotov na základe ich konštrukcie a logiky . V praxi mnoho riešení kombinuje prvky z rôznych prístupov, ale táto klasifikácia poskytuje usmernenie.
Chatboty založené na pravidlách alebo ponukách
Chatboti založené na pravidlách sú najjednoduchším spôsobom automatizácie konverzácií . Fungujú ako rozhodovacie stromy: ponúkajú tlačidlá, možnosti ponuky alebo preddefinované otázky a používateľ sa nimi pohybuje, kým nedosiahne požadovanú odpoveď alebo akciu. Každá cesta je vopred naprogramovaná a bot „nerozumie“ voľnému jazyku.
Pri tomto prístupe je každá otázka alebo kombinácia možností spojená s konkrétnou odpoveďou . Všetci používatelia, ktorí vyberú rovnakú možnosť, dostanú rovnaký výstup. Tieto systémy sa dajú rýchlo nastaviť pre jednoduché často kladené otázky, ale sú veľmi obmedzené, ak sa do hry dostane veľa neznámych faktorov, neočakávaných otázok alebo meniacich sa potrieb.
Praktickou alternatívou je chatbot ITR (Interactive Text Response) alebo chatbot založený na menu a tlačidlách , ktorý sa bežne používa na webových stránkach a platformách na zasielanie správ. Ponúka rýchle odpovede vo forme tlačidiel, čím sa konverzácia premení na sprievodcu. Sú ideálne na jednoduché úlohy, ako je kontrola rozvrhov, základných stavov objednávok alebo správa štandardných rezervácií.
Chatboty založené na kľúčových slovách
Takzvané deklaratívne alebo na kľúčových slovách založené chatboty sa snažia ísť o krok ďalej ako rozhodovací strom . Analyzujú text zadaný používateľom, zisťujú konkrétne kľúčové slová (ako napríklad „aktivovať účet“, „zmeniť heslo“ alebo „stav zásielky“) a vracajú odpoveď spojenú s týmito kľúčovými slovami.
Tento prístup sa spolieha na techniky rozpoznávania kľúčových slov na odvodenie zámeru, témy alebo dokonca sentimentu . Napríklad, ak používateľ zadá „Ako aktivujem svoj účet?“, bot rozpozná „aktivovať svoj účet“ a odpovie podrobným návodom. Stále ide o predprogramovaný systém, ale o niečo flexibilnejší, pretože umožňuje určité variácie v spôsobe, akým je otázka formulovaná.
Napriek tejto flexibilite tieto boty fungujú správne iba v rámci súboru tém a výrazov, ktoré tím naplánoval a nakonfiguroval . Keď sa od tohto rámca odchýlia, majú tendenciu nefungovať správne alebo opakovať generické odpovede, ktoré sú pre používateľa frustrujúce.
Chatboty s umelou inteligenciou a generatívnymi modelmi
S rozvojom strojového učenia a hlbokého učenia sa objavili oveľa výkonnejšie chatboty, ktoré kombinujú NLP, NLU a generovanie prirodzeného jazyka (NLG) . Namiesto jednoduchého porovnávania vzorov pravdepodobnostne odhadujú, čo má používateľ na mysli, aké informácie sú relevantné a ako zostaviť súvislú odpoveď slovo po slove.
Chatboti založené na generatívnych modeloch zvyčajne používajú rozsiahle jazykové modely trénované na masívnych textových korpusoch . To im umožňuje viesť otvorené rozhovory, plynule meniť témy, interpretovať jednoduchý sarkazmus, názory a nuansy a dokonca prispôsobiť svoj tón. Napríklad, keď čelia správe typu „Viem, že je dopravná špička, ale kedy si môžem dať jedlo?“, dokážu pochopiť kontextový odkaz (dopravná špička) a reagovať s rozumným odhadom a jasným vysvetlením.
V praxi sa tieto systémy môžu prepojiť aj s inými službami : webovými vyhľadávačmi, systémami generovania obrázkov, internými databázami, ERP systémami alebo CRM systémami. Vďaka tomu moderný chatbot nielen odpovedá na otázky, ale dokáže aj vyhľadávať aktuálne informácie, generovať obrázky na požiadanie alebo spúšťať akcie v obchodných systémoch.
Táto sila však má svoju cenu: na trénovanie vyžadujú obrovské množstvo údajov a dokážu „hypotézovať“ odpovede . To znamená, že dokážu generovať vysvetlenia, ktoré znejú vierohodne, ale sú nepravdivé alebo nepresné. Keď sa tento kontaminovaný obsah opätovne použije a šíri, stane sa známym ako „botshit“, lacná a rozšírená forma dezinformácií generovaných umelou inteligenciou.
Použitie a aplikácie chatbotov vo firmách a organizáciách
S technologickým pokrokom sa chatboti presunuli z laboratórií do všetkých sektorov. Dnes sa používajú vo veľkých korporáciách, malých a stredných podnikoch, verejnej správe, vzdelávaní, zdravotníctve a reštauráciách. Ich hlavnou výhodou je automatizácia opakujúcich sa interakcií s používateľmi, zákazníkmi, pacientmi alebo študentmi.
Klasickou oblasťou je zákaznícky servis a podpora . Banky, poisťovne, letecké spoločnosti, hotelové reťazce, online predajcovia, poskytovatelia telekomunikačných služieb a mediálne platformy používajú boty na odpovedanie na často kladené otázky, riadenie procesov, riešenie jednoduchých sťažností alebo eskaláciu dopytov príslušnému ľudskému agentovi. V mnohých prípadoch bot funguje ako prvá úroveň podpory, filtruje dopyty a znižuje záťaž call centier, čo je kľúčom k zlepšeniu spokojnosti zákazníkov.
Sociálne médiá a aplikácie na posielanie správ sa stali pre týchto asistentov prirodzenými kanálmi . Facebook Messenger otvoril svoju platformu pre boty v roku 2016 a v priebehu niekoľkých mesiacov ich boli vytvorené desiatky tisíc; WhatsApp tiež spustil pilotné programy s významnými značkami ako KLM a Aeroméxico, ktoré už ponúkali informácie o letoch a palubné lístky prostredníctvom chatu. Služby ako WeChat integrovali miniaplikácie a konverzačné boty pre všetky druhy úloh už roky.
V oblasti elektronického obchodu a marketingu sa chatboti používajú na podporu potenciálnych zákazníkov, odporúčanie produktov, spúšťanie personalizovaných kampaní, zhromažďovanie spätnej väzby alebo vykonávanie krátkych prieskumov a usmerňovanie procesu nákupu. Môžu iniciovať konverzácie pomocou kľúčových slov, reagovať na komentáre na sociálnych sieťach alebo spúšťať automatizované a sledovateľné kampane zamerané na odber e-mailov; sú prirodzeným nástrojom internetového marketingu.
Existujú sektory, kde je jeho vplyv obzvlášť viditeľný. Napríklad v reštauračnom priemysle platformy ako OlaClick ponúkajú WhatsApp boty špecializované pre reštaurácie a bary . Tie dokážu spravovať objednávky, rezervácie, otázky týkajúce sa otváracích hodín, vyzdvihovanie opustených košíkov a upozornenia na stav objednávok. Integrácia s digitálnymi menu, platbami a sledovaním umožňuje mnohým prevádzkam zvýšiť počet objednávok až o 40 % bez pridávania zamestnancov.
Chatboti vo verejnej správe, vzdelávaní a politike
Verejné inštitúcie tiež zistili, že dobre vyškolený virtuálny asistent môže výrazne znížiť záťaž osobného a telefonického zákazníckeho servisu . Ilustratívnym príkladom je asistent nasadený vo volebných procesoch, ako boli voľby do andalúzskeho parlamentu alebo španielske všeobecné voľby, ktoré umožnili každému občanovi pýtať sa v prirodzenom jazyku na termíny, postupy alebo požiadavky a získať správne informácie vďaka sémantickým vyhľadávačom.
V oblasti vzdelávania sa chatboty používajú na podporu učiteľov a študentov . Niektoré inštitúcie ich integrujú do svojich e-learningových platforiem alebo LMS, aby odpovedali na otázky týkajúce sa zápisu, termínov hodnotenia, prístupu k materiálom alebo technických problémov a sú príkladom agentov umelej inteligencie vo vzdelávaní . Iné sa používajú ako virtuálni lektori, ktorí navrhujú aktivity, kladú otázky, opravujú jednoduché cvičenia alebo pomáhajú s prípravou na skúšky.
Tieto boty môžu vykonávať administratívne funkcie (správa kalendára, pripomienky, e-mail), odpovedať na často kladené otázky, poskytovať motivačnú podporu alebo pomáhať používateľom precvičovať si špecifické zručnosti , ako je napríklad konverzácia v danom jazyku. Nástroje ako Duolingo alebo chatboti ako „Soy Diego“ alebo „Soy María“ umožňujú používateľom precvičovať si španielčinu opravovaním pravopisných a gramatických chýb v reálnom čase, čo je veľmi užitočné pre samostatné učenie.
V triedach a školách fungujú chatboti ako interaktívni mediátori, ktorí sú k dispozícii 24 hodín denne, 7 dní v týždni , a sú obzvlášť cenní pri riešení opakujúcich sa kognitívnych otázok nízkej úrovne a uvoľňujú učiteľov pre kreatívnejšie alebo zložitejšie úlohy. Pre rodiny môžu byť pohodlným kanálom na získanie informácií o rozvrhoch, prijímacích konaniach alebo školských službách bez potreby telefonovať alebo osobne sa stretávať.
V politickej aréne sa objavili dokonca aj „virtuálni politici“, ako napríklad SAM na Novom Zélande a Leader Lars v Dánsku , ktorí sú určení na diskusiu o verejných otázkach, zhromažďovanie názorov občanov a vysvetľovanie politických programov. Hoci sú stále experimentmi, otvárajú dvere novým formám participácie a nastoľujú etické otázky týkajúce sa reprezentácie, manipulácie a algoritmickej transparentnosti.
Chatboti v oblasti zdravia, wellness a duševného zdravia
Zdravotníctvo je ďalšou oblasťou, kde si chatboty začali získavať značnú popularitu. Mnoho organizácií využíva konverzačných asistentov na pomoc s vyhľadávaním zdravotných stredísk, spravovaním termínov, poskytovaním informácií o liekoch alebo zodpovedaním jednoduchých otázok o príznakoch , pokiaľ nejde o núdzové situácie.
Napríklad počas pandémie COVID-19 WHO a indická vláda spolupracovali so spoločnosťou WhatsApp na spustení chatbotov, ktoré odpovedali na otázky o chorobe , príznakoch, preventívnych opatreniach a cestovných obmedzeniach. Tieto nástroje pomohli zmierniť zaťaženie telefónnych liniek a poskytovať overené informácie vo veľkom rozsahu.
V oblasti duševného zdravia sa objavili chatboti navrhnutí tak, aby poskytovali základnú emocionálnu podporu alebo techniky psychologického zvládania , ako napríklad Woebot, Wysa, Vivibot a Tess. Zvyčajne sú založené na modeloch riadenej konverzácie inšpirovaných kognitívno-behaviorálnou terapiou a navrhujú cvičenia zamerané na reflexiu, preformulovanie myšlienok alebo sledovanie nálady.
Viaceré štúdie naznačujú, že ľudia majú tendenciu zdieľať ťažké emócie ľahšie s chatbotmi ako na otvorených platformách sociálnych médií, pretože cítia väčšiu anonymitu a menej odsudzujú. V niektorých prípadoch dokonca používatelia hodnotia odpovede týchto botov ako empatickejšie ako odpovede niektorých profesionálov, hoci to môže byť skreslený dojem.
Používanie chatbotov v oblasti duševného zdravia však so sebou nesie značné riziká: algoritmické skreslenie, ochranu súkromia údajov, nedostatok ľudského dohľadu a nedostatočnú reakciu v krízových situáciách . Nedávne hodnotenia veľkých komerčných chatbotov ukázali, že žiadny z nich dôsledne nespĺňa bezpečnostné štandardy, ktoré by lekár požadoval pri riešení oznámení samovražedných myšlienok alebo iných psychologických núdzových situácií.
Prípady, ako napríklad prípad Národnej asociácie pre poruchy príjmu potravy v Spojených štátoch, ktorá nahradila svoju ľudskú linku pomoci chatbotom a musela ju stiahnuť po tom, čo ponúkala škodlivé rady , ukazujú, že tieto systémy nemôžu nahradiť odborníkov v citlivých kontextoch a že by sa mali vždy implementovať s jasnými protokolmi pre odkazovanie na ľudské zdroje v rizikových situáciách.
Výhody chatbotov a prínosy pre firmy a používateľov
Napriek svojim obmedzeniam ponúkajú dobre navrhnuté chatboty jasné výhody pre firmy aj koncových používateľov . To vysvetľuje ich neustály rast v prijímaní vo všetkých sektoroch.
Po prvé, ponúkajú nepretržitú dostupnosť 24 hodín denne, 7 dní v týždni , čo je niečo, čo je nemožné udržať len s ľudským personálom bez premrštených nákladov. Bot dokáže reagovať skoro ráno, cez víkendy alebo sviatky rovnakou rýchlosťou ako počas pracovnej doby, čím zlepšuje zákaznícku skúsenosť.
Okrem toho dokážu spracovať viacero konverzácií súčasne . Zatiaľ čo ľudský agent je obmedzený na správu iba niekoľkých interakcií naraz, chatbot dokáže spracovať stovky alebo tisíce, čím absorbuje špičkový dopyt (predaj, kampane, hromadné incidenty) a zabraňuje čakacím radom alebo preťaženiu liniek.
Taktiež pomáhajú skrátiť reakčné doby a štandardizovať kvalitu služieb . V obchodnom kontexte sa to premieta do lepšieho imidžu značky, väčšej lojality zákazníkov a úspor prevádzkových nákladov. V malých a stredných podnikoch, kde neexistujú veľké call centrá, môže dobrý chatbot znamenať rozdiel medzi tým, či bude schopný ponúknuť primeranú podporu, alebo nie vôbec.
Ďalším dôležitým bodom je, že zaznamenávajú a štruktúrujú údaje o interakciách . Tieto informácie sú neoceniteľné pre odhaľovanie opakujúcich sa problémov, zlepšovanie produktov, úpravu interných procesov alebo obohatenie prediktívnych modelov. Mnohé boty sa integrujú s CRM systémami na označovanie potenciálnych zákazníkov, segmentáciu publika alebo spúšťanie automatizovaných akcií na základe správania používateľov.
Obmedzenia, riziká a bežné problémy chatbotov
Nie sú to všetky výhody. Mnoho súčasných chatbotov stále nedosahuje svoj plný potenciál kvôli konštrukčným chybám, nedostatku údajov alebo slabému porozumeniu konverzácii . Napríklad boty založené výlučne na pravidlách sa zrútia hneď, ako sa používateľ odchýli od zamýšľaného skriptu alebo presne nevie, ktorú možnosť si má zvoliť.
Dokonca aj pokročilé generatívne modely robia značné chyby. Hoci sú veľmi dobré v tvorbe plynulého textu, nie sú vždy fakticky presné a môžu si vymýšľať mená, dátumy alebo udalosti, ak ich tréning nezohľadňuje konkrétnu situáciu. Táto tendencia k „halucináciám“ je obzvlášť problematická v citlivých oblastiach, ako sú financie, zdravotníctvo alebo právne poradenstvo.
Z hľadiska bezpečnosti predstavujú chatboti značné výzvy týkajúce sa ochrany údajov, šifrovania a kontroly prístupu , čo robí riadenie rizík kľúčovým . Ak ukladajú históriu konverzácií obsahujúcu osobné informácie, táto databáza sa stáva veľmi atraktívnym cieľom pre útočníkov. Okrem toho, pri prevádzke na platformách tretích strán (messaging, sociálne siete) musia dodržiavať pravidlá týchto služieb, ktoré sa môžu líšiť od kritérií organizácie, ktorá bota vlastní.
Existuje tiež riziko zlomyseľného použitia chatbotov na odosielanie spamu, phishingu alebo politickej propagandy . Boti navrhnuté tak, aby sa vydávali za skutočných ľudí s dobre rozvinutou identitou a dôveryhodnými vzormi správania, môžu šíriť falošné správy, manipulovať s diskusiami alebo vytvárať falošný pocit konsenzu („umelý sociálny dôkaz“) vo veľkom meradle a za nízke náklady.
Nakoniec, na sociálnej a profesionálnej úrovni, automatizácia konverzačných úloh neovplyvňuje len opakujúce sa úlohy. Pokročilé chatboty začínajú konkurovať v kreatívnych a na vedomostiach založených činnostiach , ako je copywriting, písanie správ a programovanie, čo vyvoláva diskusie o budúcnosti zamestnanosti, kvalite práce a koncentrácii ekonomickej moci v rukách niekoľkých veľkých technologických platforiem.
Dopad na duševné zdravie, izolácia a „psychóza chatbotov“
Dlhodobá interakcia s chatbotmi, najmä s tými, ktoré sú určené na spoločnosť alebo všeobecnú konverzáciu, má psychologické účinky, ktoré výskum len začína podrobnejšie skúmať . Hoci môžu byť zdrojom podpory v časoch osamelosti, existuje aj riziko odtrhnutia sa od skutočného ľudského kontaktu.
Bolo pozorované, že niektorí emocionálne zraniteľní ľudia majú tendenciu pripisovať botom určitý stupeň pochopenia alebo úmyselnosti, ktorý sami nemajú , čo ich vedie k rozvoju nerealistických presvedčení o ich schopnostiach alebo informáciách, ktoré poskytujú. Toto je najviac znepokojujúce, keď model prezentuje konšpiračný alebo pseudovedecký obsah bez toho, aby mal používateľ nástroje na jeho kritické zhodnotenie.
Nedávny výskum dokonca hovorí o „psychóze chatbotov“ u používateľov s predispozíciou k bludnému alebo konšpiračnému mysleniu . Trávením mnohých hodín interakciou so systémom, ktorý sa zámerne snaží udržiavať konverzáciu a nie vždy opravuje chyby, môže používateľ posilniť existujúce predsudky a ešte viac sa oddeliť od zdieľanej reality.
K tomu všetkému sa pridávajú štrukturálne problémy súkromia, zaujatosti a nedostatku regulácie . Modely sú trénované na rozsiahlych súboroch údajov, ktoré často obsahujú historické alebo kultúrne predsudky, čo môže viesť k diskriminačným alebo nespravodlivým reakciám voči určitým skupinám. Okrem toho, masívny zber konverzačných údajov vyvoláva otázky o tom, kto tieto informácie kontroluje, ako sa používajú a na aké účely.
Z týchto dôvodov mnohí odborníci trvajú na tom, že chatboty pre duševné zdravie by sa mali vnímať ako doplnkové nástroje, nikdy nie ako náhrada odbornej starostlivosti , a že je nevyhnutné stanoviť jasné limity, nezávislé audity a mechanizmy pre nepretržitý ľudský dohľad.
Pri pohľade na celú túto cestu, od ELIZA až po súčasné generatívne modely, je jasné, ako sa chatboti zmenili z obyčajných laboratórnych kurioziet na kľúčové komponenty vzťahu medzi ľuďmi a digitálnymi systémami; stále majú mnoho nedostatkov a rizík, ale ak sú dobre navrhnuté a rozumne používané, patria medzi technológie s najväčším potenciálom transformovať spôsob, akým získavame informácie, pracujeme, učíme sa a žiadame o pomoc v rámci organizácií aj mimo nich.
