Towards a Universal Test of Social Intelligence

[EN] Under the view of artificial intelligence, an intelligent agent is an autonomous entity which interacts in an environment through observations and actions, trying to achieve one or more goals with the aid of several signals called rewards. The creation of intelligent agents is proliferating during the last decades, and the evaluation of their intelligence is a fundamental issue for their understanding, construction and improvement. Social intelligence is recently obtaining special attention in the creation of intelligent agents due to the current view of human intelligence as highly social. Social intelligence in natural and artificial systems is usually measured by the evaluation of associated traits or tasks that are deemed to represent some facets of social behaviour. The amalgamation of these traits or tasks is then used to configure an operative notion of social intelligence. However, this operative notion does not truly represent what social intelligence is and a definition following this principle will not be precise. Instead, in this thesis we investigate the evaluation of social intelligence in a more formal and general way, by actually considering the evaluee's interaction with other agents. In this thesis we analyse the implications of evaluating social intelligence using a test that evaluates general intelligence. For this purpose, we include other agents into an initially single-agent environment to figure out the issues that appear when evaluating an agent in the context of other agents. From this analysis we obtain useful information for the evaluation of social intelligence. From the lessons learned, we identify the components that should be considered in order to measure social intelligence, and we provide a formal and parametrised definition of social intelligence. This definition calculates an agent's social intelligence as its expected performance in a set of environments with a set of other agents arranged in teams and participating in line-ups, with rewards being re-understood appropriately. This is conceived as a tool to define social intelligence testbeds where we can generate several degrees of competitive and cooperative behaviours. We test this definition by experimentally analysing the influence of teams and agent line-ups for several multi-agent systems with variants of Q-learning agents. However, not all testbeds are appropriate for the evaluation of social intelligence. To facilitate the analysis of a social intelligence testbed, we provide some formal property models about social intelligence in order to characterise the testbed and thus assess its suitability. Finally, we use the presented properties to characterise some social games and multi-agent environments, we make a comparison between them and discuss their strengths and weaknesses in order to evaluate social intelligence. [ES] Bajo la vision de la inteligencia artificial, un agente inteligente es una entidad autonoma la cual interactua en un entorno a traves de observaciones y acciones, tratando de lograr uno o mas objetivos con la ayuda de varias senales llamadas recompensas. La creacion de agentes inteligentes esta proliferando durante las ultimas decadas, y la evaluacion de su inteligencia es un asunto fundamental para su entendimiento, construccion y mejora. Recientemente la inteligencia social esta obteniendo especial atencion en la creacion de agentes inteligentes debido a la vision actual de la inteligencia humana como altamente social. Normalmente la inteligencia social en sistemas naturales y artificiales se mide mediante la evaluacion de rasgos asociados o tareas que se consideran que representan algunas facetas del comportamiento social. La agrupacion de estos rasgos o tareas se utiliza entonces para configurar una nocion operacional de inteligencia social. Sin embargo, esta nocion operacional no representa fielmente a la inteligencia social y no seria posible una definicion siguiendo este principio. En su lugar, en esta tesis investigamos la evaluacion de la inteligencia social de un modo mas formal y general, considerando la interaccion del agente a evaluar con otros agentes. En esta tesis analizamos las implicaciones de evaluar la inteligencia social utilizando un test que evalue la inteligencia general. Con este objetivo incluimos otros agentes en un entorno inicialmente disenado para un unico agente con el fin de averiguar que cuestiones aparecen cuando evaluamos a un agente en un contexto con otros agentes. A partir de este analisis obtenemos informacion util para la evaluacion de la inteligencia social. A partir de las lecciones aprendidas identificamos los componentes que deberian considerarse al medir la inteligencia social y proporcionamos una definicion formal y parametrizada de esta inteligencia social. Esta definicion calcula la inteligencia social de un agente como su rendimiento esperado en un conjunto de entornos y con un conjunto de otros agentes organizados en equipos y distribuidos en alineaciones, reinterpretando apropiadamente las recompensas. Esto se concibe como una herramienta para definir bancos de prueba de inteligencia social donde podamos generar varios grados de comportamientos competitivos y cooperativos. Probamos esta definicion analizando experimentalmente la influencia de los equipos y las alineaciones de agentes en varios sistemas multiagente con variantes de agentes Q-learning. Sin embargo, no todos los bancos de prueba son apropiados para la evaluacion de la inteligencia social. Para facilitar el analisis de un banco de pruebas de inteligencia social, proporcionamos algunos modelos de propiedades formales sobre la inteligencia social con el objetivo de caracterizar el banco de pruebas y asi valorar su idoneidad. Finalmente, usamos las propiedades presentadas para caracterizar algunos juegos sociales y entornos multiagente, hacemos una comparacion entre ellos y discutimos sus puntos fuertes y debiles para ser usados en la evaluacion de la inteligencia social. [CAT] Davall la visio de la intel·ligencia artificial, un agent intel·ligent es una entitat autonoma la qual interactua en un entorn a traves d'observacions i accions, tractant d'aconseguir un o mes objectius amb l'ajuda de diverses senyals anomenades recompenses. La creacio d'agents intel·ligents esta proliferant durant les ultimes decades, i l'avaluacio de la seua intel·ligencia es un assumpte fonamental per al seu enteniment, construccio i millora. Recentment la intel·ligencia social esta obtenint especial atencio en la creacio d'agents intel·ligents a causa de la visio actual de la intel·ligencia humana com altament social. Normalment la intel·ligencia social en sistemes naturals i artificials es mesura per mitja de l'avaluacio de trets associats o tasques que es consideren que representen algunes facetes del comportament social. L'agrupacio d'aquests trets o tasques s'utilitza llavors per a configurar una nocio operacional d'intel·ligencia social. No obstant aixo, aquesta nocio operacional no representa fidelment a la intel·ligencia social i no seria possible una definicio seguint aquest principi. En el seu lloc, en aquesta tesi investiguem l'avaluacio de la intel·ligencia social d'una manera mes formal i general, considerant la interaccio de l'agent a avaluar amb altres agents. En aquesta tesi analitzem les implicacions d'avaluar la intel·ligencia social utilitzant un test que avalue la intel·ligencia general. Amb aquest objectiu incloem altres agents en un entorn inicialment dissenyat per a un unic agent amb la finalitat d'esbrinar quines questions apareixen quan avaluem un agent en un context amb altres agents. A partir d'aquesta analisi obtenim informacio util per a l'avaluacio de la intel·ligencia social. A partir de les llicons apreses identifiquem els components que haurien de considerar-se al mesurar la intel·ligencia social i proporcionem una definicio formal i parametrizada d'aquesta intel·ligencia social. Aquesta definicio calcula la intel·ligencia social d'un agent com el seu rendiment esperat en un conjunt d'entorns i amb un conjunt d'altres agents organitzats en equips i distribuits en alineacions, reinterpretant apropiadament les recompenses. Aco es concep com una ferramenta per a definir bancs de prova d'intel·ligencia social on podem generar diversos graus de comportaments competitius i cooperatius. Provem aquesta definicio analitzant experimentalment la influencia dels equips i les alineacions d'agents en diversos sistemes multiagent amb variants d'agents Q-learning. No obstant aixo, no tots els bancs de prova son apropiats per a l'avaluacio de la intel·ligencia social. Per a facilitar l'analisi d'un banc de proves d'intel·ligencia social, proporcionem alguns models de propietats formals sobre la intel·ligencia social amb l'objectiu de caracteritzar el banc de proves i aixi valorar la seua idoneitat. Finalment, usem les propietats presentades per a caracteritzar alguns jocs socials i entorns multiagent, fem una comparacio entre ells i discutim els seus punts forts i debils per a ser usats en l'avaluacio de la intel·ligencia social.