Chatbot Facebook afirma ser o melhor do mundo

O sistema de open-source do Chatbot Facebook tem também uma fonte aberta para impulsionar a investigação.

Por todos os progressos que os chatbots e os assistentes virtuais fizeram, eles continuam a ser péssimos conversadores. A maioria é altamente orientada para as tarefas: você faz uma exigência e eles cumprem. Alguns são altamente frustrantes: parecem nunca conseguir o que se procura. Outros são terrivelmente aborrecidos: falta-lhes o encanto de um companheiro humano. Tudo bem quando se pretende apenas definir um temporizador. Mas à medida que estes robôs se tornam cada vez mais populares como interfaces para tudo, desde o retalho aos cuidados de saúde e aos serviços financeiros, as insuficiências só se tornam mais evidentes.

Agora o Facebook tem um novo chatbot aberto que, segundo ele, pode falar de quase tudo de uma forma cativante e interessante. O misturador poderia não só ajudar os assistentes virtuais a resolver muitas das suas deficiências, mas também assinalar progressos no sentido de uma maior ambição que impulsiona grande parte da investigação sobre a gripe aviária: replicar a inteligência. “O diálogo é uma espécie de problema de ‘inteligência artificial completa'”, diz Stephen Roller, um engenheiro de investigação no Facebook que co-liderou o projecto. “Teria de resolver toda a IA para resolver o diálogo, e se resolver o diálogo, já resolveu toda a IA”.

A capacidade do misturador vem da imensa escala dos seus dados de formação. Foi treinada pela primeira vez em 1,5 mil milhões de conversas Reddit disponíveis publicamente, para lhe dar uma base para gerar respostas num diálogo. Foi depois aperfeiçoado com conjuntos de dados adicionais para cada uma de três competências: conversas que continham algum tipo de emoção, para lhe ensinar empatia (se um utilizador disser “Fui promovido”, por exemplo, pode dizer “Parabéns!”); conversas densas de informação com um especialista, para lhe ensinar conhecimentos; e conversas entre pessoas com personalidades distintas, para lhe ensinar personalidade. O modelo resultante é 3,6 vezes maior do que o chatbot Meena do Google, que foi anunciado em Janeiro – tão grande que não cabe num único dispositivo e deve, em vez disso, correr sobre dois chips informáticos.

Na altura, o Google proclamou que Meena era o melhor chatbot do mundo. Nos próprios testes do Facebook, no entanto, 75% dos avaliadores humanos acharam o Blender mais envolvente do que a Meena, e 67% acharam-no mais parecido com um humano. O chatbot também enganou os avaliadores humanos 49% das vezes ao pensar que os seus registos de conversação eram mais humanos do que os registos de conversação entre pessoas reais, o que significa que não havia muita diferença qualitativa entre os dois. O Google ainda não tinha respondido a um pedido de comentários quando esta história estava para ser publicada.

Apesar destes resultados impressionantes, no entanto, as habilidades do Blender ainda não estão nem perto das de um humano. Até agora, a equipa avaliou o chatbot apenas em conversas curtas com 14 voltas. Se continuasse a conversar durante mais tempo, os investigadores suspeitam, em breve deixaria de fazer sentido. “Estes modelos não são capazes de ir super a fundo”, diz Emily Dinan, a outra líder do projecto. “Eles não são capazes de se lembrar da história das conversas para além de algumas voltas”.

O misturador também tem tendência para “alucinar” os conhecimentos, ou para inventar factos – uma limitação directa das técnicas de aprendizagem profunda utilizadas para a sua construção. Em última análise, está a gerar as suas frases a partir de correlações estatísticas e não de uma base de dados de conhecimentos. Como resultado disso, pode juntar uma descrição detalhada e coerente de uma celebridade famosa, por exemplo, mas com informação completamente falsa. A equipa planeia experimentar a integração de uma base de dados de conhecimentos na geração de respostas do chatbot.

Avaliação do Facebook Blender

Os avaliadores humanos compararam conversas multi-voltas com diferentes chatbots.

Outro grande desafio com qualquer sistema de chatbot aberto é impedi-lo de dizer coisas tóxicas ou tendenciosas. Uma vez que tais sistemas acabam por ser treinados nas redes sociais, podem acabar por regurgitar o vitríolo da Internet. (Isto aconteceu infamemente com o chatbot Tay da Microsoft em 2016). A equipa tentou resolver esta questão pedindo aos trabalhadores da multidão que filtrassem a linguagem nociva dos três conjuntos de dados que utilizava para afinar, mas não fez o mesmo com o conjunto de dados Reddit devido à sua dimensão. (Qualquer pessoa que tenha passado muito tempo na Reddit saberá por que razão isso poderá ser problemático).

A equipa espera experimentar melhores mecanismos de segurança, incluindo um classificador de linguagem tóxica que possa verificar duas vezes a resposta do chatbot. Os investigadores admitem, no entanto, que esta abordagem não será abrangente. Por vezes, uma frase como “Sim, isso é óptimo” pode parecer bem, mas dentro de um contexto sensível, como em resposta a um comentário racista, pode assumir significados prejudiciais.

A longo prazo a equipa de IA do Facebook também está interessada em desenvolver agentes de conversação mais sofisticados que possam responder a sugestões visuais, assim como apenas palavras. Um projecto está a desenvolver um sistema chamado Image Chat, por exemplo, que pode conversar de forma sensata e com personalidade sobre as fotos que um utilizador pode enviar.