Advances of evolutionary game theory applied to optimal cancer therapies
Authors:   , Sanz Nogales José María 
Published: May 2024

Two fundamental objectives are sought in this thesis: a better understanding of cancer through mathematical modelling of the major alterations that characterize this disease, and the design of optimal treatments based on tumor growth inhibitors.

Evolutionary game theory provides an ideal theoretical-mathematical framework for describing some of the most relevant characteristics of cancer, such as its phenotypic heterogeneity and plasticity. Nevertheless, this framework focuses on homogeneous cell populations and does not take into account complex metastasis processes, where tumor phenotypes are exchanged between distant organs and tissues via the bloodstream and lymphatic system. This thesis introduces the concept of population games in arbitrary network communities in order to overcome this first limitation. Afterwards, we propose a set of population dynamics that can be used to represent the invasion of distant tissues in metastasis.

The Warburg effect and sustained angiogenesis are also common alterations in cancer. Cancer literature suggests that these alterations are the result of cooperative behaviours between tumor and healthy phenotypes. In this thesis, we address the representation of the Warburg effect and sustained angiogenesis by formulating non-linear extensions of the public goods game. In this way we manage to provide general dynamic models to represent the evolution of metastasis, the Warburg effect and continued angiogenesis, as well as other factors such as the heterogeneity and phenotypic plasticity of this disease.

Conventional cancer treatment consists of predefined regimens in which sessions with maximum tolerated doses of radiotherapy and chemotherapy alternate with rest days. Cancer develops resistance to these treatments due to its ability to adapt to environmental changes. In this thesis, we present the utilization of the primary characteristics of cancer as therapeutic targets, with the aim of devising optimal targeted therapies using experimental tumor growth inhibitors that address each of the above-mentioned targets as appropriate. Our approach involves the development of a non-convex cost function that incorporates the pharmacological cost of the therapy and the toxicity of the drugs. We provide a comprehensive solution that furnishes the optimal therapeutic policy across the entire state space of the problem. This policy is obtained using a reinforcement learning algorithm known as Double Deep Q-learning and is subsequently validated through comparison with the solution of the Hamilton-Jacobi-Bellman equations.

RESUMEN

En esta tesis se buscan dos objetivos fundamentales: una mejor comprensión del cáncer mediante la modelización matemática de las principales alteraciones que caracterizan esta enfermedad y el diseño de tratamientos óptimos basados en inhibidores del crecimiento tumoral.

La teoría de juegos evolutivos proporciona un marco teórico-matemático ideal para describir algunas de las características más relevantes del cáncer, como su heterogeneidad y plasticidad fenotípica. Sin embargo, este marco se centra en poblaciones celulares homogéneas y no tiene en cuenta procesos complejos de metástasis, en los que los fenotipos tumorales se intercambian entre órganos y tejidos distantes a través del torrente sanguíneo y el sistema linfático. Esta tesis introduce el concepto de juegos de población en comunidades de redes arbitrarias para superar esta primera limitación. Posteriormente, proponemos un conjunto de dinámicas poblacionales que pueden usarse para representar la invasión de tejidos distantes en metástasis.

El efecto Warburg y la angiogénesis sostenida también son alteraciones comunes en el cáncer. La literatura sobre el cáncer sugiere que estas alteraciones son el resultado de comportamientos cooperativos entre fenotipos tumorales y sanos. En esta tesis, abordamos la representación del efecto Warburg y la angiogénesis sostenida mediante la formulación de extensiones no lineales del juego de los bienes públicos. De esta forma conseguimos proporcionar modelos dinámicos generales para representar la evolución de la metástasis, el efecto Warburg y la angiogénesis continuada, así como otros factores como la heterogeneidad y plasticidad fenotípica de esta enfermedad.

El tratamiento convencional del cáncer consiste en regímenes predefinidos en los que se alternan sesiones con las dosis máximas toleradas de radioterapia y quimioterapia con días de descanso. El cáncer desarrolla resistencia a estos tratamientos debido a su capacidad de adaptarse a los cambios del entorno. En esta tesis, presentamos la utilización de las características primarias del cáncer como objetivos terapéuticos, con el objetivo de diseñar terapias dirigidas óptimas utilizando inhibidores experimentales del crecimiento tumoral, que aborden cada uno de los objetivos mencionados anteriormente según convenga. Nuestro enfoque implica el desarrollo de una función de costos no convexa que incorpora el costo farmacológico de la terapia y la toxicidad de los medicamentos. Brindamos una solución integral que proporciona la política terapéutica óptima en todo el espacio de estados del problema. Esta política se obtiene mediante un algoritmo de aprendizaje por refuerzo conocido como Double Deep Q-learning. Finalmente validamos estas políticas mediante comparación con la solución de las ecuaciones de Hamilton-Jacobi-Bellman.