Representation and learning of context-dependent choice functions
Creators: name: Pfannschmidt, Karlson
Publisher: name: Universität Paderborn
Year: 2024

description: Diese Dissertation befasst sich mit dem Lernen von Präferenzen und Auswahlen, basierend auf Erkenntnissen aus Verhaltensökonomie und Psychologie. Präferenzlernen ist zentral für zahlreiche Anwendungen wie Information Retrieval, Empfehlungssysteme und das Alignment von Sprachmodellen auf menschliche Präferenzen. Im Fokus steht das Choice-Setting, bei dem einer Person eine Menge von Objekten präsentiert wird, aus der sie ein bevorzugtes Teilset auswählt. Ziel ist, eine Funktion zu erlernen, die Mengen von Objekten auf gewählte Teilmengen abbildet und auch auf ungesehene Mengen verallgemeinern kann. Viele Modelle setzen voraus, dass jedes Objekt unabhängig bewertet wird, obwohl zahlreiche Experimente zeigen, dass der Kontext erheblichen Einfluss auf Entscheidungen von Probanden hat. Um kontextabhängige Choices abzubilden, verallgemeinern wir den Nutzenbegriff auf zwei komplementäre Arten. Der erste Ansatz nutzt Zerlegungsmethoden: FETA fasst Nutzen als Summe niedrigerer Teilnutzen zusammen, während FATE zunächst eine Repräsentation der Objektmenge berechnet und den Nutzen jedes Objekts im Kontext bewertet. Beide Verfahren sagen neue Entscheidungen voraus, indem sie Objekte auswählen, deren Nutzen einen bestimmten Schwellenwert übersteigt. Zudem erweitern wir das Konzept auf mehrdimensionale Nutzenfunktionen, was zu einer Choicefunktion führt, bei der Objekte auf der Pareto-Front identifiziert werden. So entfällt eine Schwellenwertanpassung. Wir analysieren Ausdrucksstärke und Identifizierbarkeit der Modelle, schlagen differenzierbare Lossfunktionen vor und entwerfen passende neuronale Netzwerkarchitekturen. Empirische Vergleiche zeigen, dass unsere Ansätze in Choice-Settings mit hohem Kontextbezug sehr überzeugende Leistungen erzielen.
description: This thesis addresses the learning of preferences, particularly choices, within the machine learning framework, drawing on behavioral economics and psychology. Preference learning is vital for applications such as information retrieval, recommender systems, and aligning language models and agents with human preferences.We focus on the choice setting, where a decision maker is presented with a set of objects and selects the preferred subset. The goal is to learn a function mapping sets of objects to chosen subsets that generalize to unseen sets. Although many models assume that each object's utility is evaluated independently, experimental findings show that context significantly influences choices.To capture context-dependent choice, we generalize the notion of utility in two complementary ways. The first approach uses two decomposition methods. FETA aggregates lower-order sub-utilities, while FATE computes a set representation and then evaluates each object's utility within that context. Both predict new choices by selecting objects that exceed a certain threshold.We also extend to multi-dimensional utility, naturally yielding a choice function that identifies objects on the Pareto-front, eliminating the need for threshold tuning. We analyze each model's expressive power and identifiability, propose differentiable loss functions, and design appropriate neural network architectures. Empirical comparisons demonstrate that our approaches excel in tasks with a high degree of context-dependence.