Proposition pour la création d’une Action de
Recherche Coopérative 2007-2008:
Contrôle Optimal d’un Digesteur Anaérobie(CODA)
O. Bernard, P.A. Coquelin, D. Delhomme, E. Latrille, R. Munos
L’objectif de ce projet consiste à déterminer une commande adaptative pour undigesteur anaérobie à partir de la connaissance approximative d’un modèle des dynamiques d’état et de l’observation séquentielle de données issues d’un réacteur enfonctionnement.
Mots clés : Contrôle optimal, contrôle robuste, processus de décision markovien
en environnement partiellement observable (POMDP), apprentissage statistique, recherche de politique paramétrée, processus de Dirichlet, filtrage particulaire, digestion
anaérobie.

1 Introduction
La digestion anaérobie, ou méthanisation, est un procédé biologique au cours duquel un consortium bactérien dégrade la matière organique pour la transformer in fineen biogaz. Il s’agit d’un procédé de dépollution qui possède de nombreux avantages :il peut traiter des rejets concentrés et toxiques et ne produit que peu de boues ; il peutmême être rentable grâce à la production de biogaz, qui est une source d’énergie renouvelable. Ceci explique le développement exponentiel de ce type d’installation au coursde ces 20 dernières années sur des sites en Europe et en Amérique du Sud. Néanmoins,ce procédé souffre d’un problème d’instabilité : parmi les domaines d’équilibre localement stables de la dynamique, certains conduisent à la mort de l’ecosytème bactérien.
Le caractère intrinsèquement instable de ce processus de digestion anaérobie stimulele développement d’algorithmes de contrôle adaptatifs capables dans un premier temps
de stabiliser le bio-système dans une région de viabilité durable, et dans un second
temps, d’optimiser un critère défini dans le temps, par exemple maximiser la quantitéde biogaz dégagée.
Les méthodes actuellement utilisées pour construire un modèle précis des dynamiques en jeu requièrent une grande quantité de données recueillies en-ligne par descapteurs (coûteux) puis analysées. Cependant, le coût extrèmement élevé de certains
capteurs (permettant de connaître précisément la quantité de certains composés organiques dans la cuve) freine considérablement l’application de cette technique aux
petites et moyennes installations.

1Il existe une grande variété de modèles de digestion anaérobie de la dimension 2
jusqu’à des dimensions supérieures à 20. Pour des raisons d’identifiabilité, seuls lesmodèles de dimension raisonnable (6 au plus), et donc nécessairement approximatifs,
semblent utilisables en pratique. De plus, même pour les modèles les plus simples, laconnaissance parfaite, en temps réel, de l’état du système, est impossible : elle requiert
la connaissance de la biomasse bactérienne présente dans le réacteur, pour laquelle
aucun capteur n’existe (ou bien leur coût est prohibitif). D’un point de vue plus général,le problème du contrôle de la digestion anaérobie est un problème difficile de contrôle
optimal non linéaire en environnement stochastique et partiellement observable d’unsystème dont on ne connaît que des modélisations approchées.
L’objectif de l’ARC CODA est de développer une méthodologie efficace pourconstruire une loi de contrôle adaptative pour un système dynamique partiellement observable en combinant l’utilisation d’un modèle dynamique approché et l’exploitation
de données acquises en temps réel. Le cadre privilégié d’application et de validationde la méthodologie est le contrôle de la digestion anaérobie en situation réelle sous lescontraintes de fonctionnement d’une installation industrielle de taille moyenne.
Ce projet s’inscrit naturellement dans le cadre de deux défis prioritaires de l’INRIA"Coupler modèles et données pour simuler et contrôler les systèmes complexes"et "Modéliser le vivant". Nous rappelons à ce titre que cette problématique se retrouve dans un grand nombre d’autres domaines applicatifs, en particulier en biologie,
et que des avancées dans ce domaine pourraient avoir des retombées bien au delà de ladigestion anaérobie. En particulier, elles pourraient être transposables à d’autres écosystèmes contrôlés par l’homme (autres procédés de dépollution, industries pharmaceutiques et agroalimentaires, production d’énergie, etc.)
Il nous a semblé intéressant de fédérer au sein de ce projet quatre équipes : deuxéquipes INRIA, une équipe INRA et une jeune entreprise Naskeo Environnement. Le
projet COMORE (INRIA Sophia Antipolis) apportera son expertise dans la modélisation de la digestion anaérobie et l’utilisation de méthodes analytiques sur le modèle
pour la construction d’observateurs et de contrôleurs. Le projet SequeL (INRIA futurs
Lille) apportera ses comptétences en analyse statistique, contrôle adaptatif et apprentissage séquentiel. Le LBE (INRA Narbonne) proposera son expertise et son experience
concernant le contrôle et l’identification de modèles sur des réacteurs semi-industriels.
Naskeo Environnement assurera que les solutions proposées sont cohérentes dans uncontexte d’utilisation industrielle et participera à leur validation.

2 Les problématiques scientifiques pour un contrôle adaptatif de la digestion anaérobie
Introduction : Une première difficulté pour le contrôle provient du manque d’informations fiables disponibles, d’une part sur les modèles disponibles (fortes incertitudes
sur les organismes vivants impliqués) et d’autre part sur l’état réel du système (manquede capteurs en ligne et bruits de mesures élevés).
Une seconde difficulté réside dans la complexité numérique de résolution des problèmes de contrôle optimal lorsque le nombre de variables d’état est élevé (on est
confronté à la fameuse malédiction de la dimension), ce qui est le cas pour les modèles précis des dynamiques de méthanisation (qui sont de l’ordre de 20 dimensions).
Pour aborder cet aspect, nous proposons de réduire la dimensionalité des modèles2

en introduisant de l’incertitude (par l’ajout de variables aléatoires qui faudra caractériser) dans les dynamiques d’évolution.
On compte ensuite déterminer un contrôleur optimal approché de manière adaptative par des méthodes de recherche de politique paramétrée grâce à des techniques defiltrage particulaires combinées à des outils d’analyse de sensibilité.
Le résultat attendu est double : l’amélioration de la qualité des modèles de moyenne
dimension ainsi que la réalisation d’un contrôleur paramétré visant à optimiser en-ligne
un critère, par exemple lié au biogaz produit.
Modélisation : En réduisant la dimension de l’espace d’état, on introduit un aléa
sur l’évolution des variables d’état. On pourra obtenir une première modélisation dela loi de ces variables aléatoires (le bruit) grâce à l’utlisation de méthodes analytiquesdévelopées par COMORE. Cependant, il sera intéressant d’affiner la connaissance dubruit à l’aide de données réelles. Pour cela, on adaptera une méthode développée parl’équipe SequeL [3] pour l’approximation non paramétrique du bruit dans des modèlesde chaînes de Markov cachées (basée sur l’utilisation de processus de Dirichlet).
Identification des états cachés et des paramètres du modèle : Les approches decontrôle déterministes qui utilisent une observation partielle de l’état doivent commencer par estimer celui-ci par le biais d’observateurs. Les approches d’identification déployées jusqu’à présent utilisent des techniques "robustes" afin de limiter l’impact desincertitudes. Des techniques robustes de type H∞ , entrées inconnues, systèmes coopératifs (voir [5] pour une review plus exhaustive) se sont montrées efficaces quand
elles sont couplées avec des techniques de contrôle robuste. Cependant, ces approches
d’identification sont peu compatible avec la recherche d’une stratégie de contrôle visantà optimiser un critère, tout en maintenant le système viable.
Les approches stochastiques pour l’identification des états cachés, utilisées dansl’équipe Sequel (méthodes de Monte-Carlo séquentielles, filtre de Kalman étendu) présentent un fort potentiel car elles peuvent permettre d’optimiser un critère tout en tenant compte des incertitudes sur le système. De plus, nous étudierons les éventuelles
possibilités de réduire la variance des estimateurs en couplant cette méthode avec lesapproches analytiques developpées par COMORE.
Nous utiliserons un algorithme développé dans SequeL [2], pour l’identification
des paramètres du modèles.
Contrôle : Dans le cadre des Processus de Décision Markoviens Partiellement Observables (POMDP) en temps continu, une approche intéressante consiste à chercher
un contrôleur proche de l’optimum dans une classe de contrôleurs paramétrés. Il s’agit
alors de déterminer, en utilisant un algorithme de gradient stochastique un paramètre
qui minimise localement le coût. Il est alors nécessaire de calculer un estimateur de ce
gradient, c’est à dire de la sensibilité du coût par rapport aux paramètres de la politique. L’équipe Sequel travaille sur la mise au point d’un algorithme de type [6] qu’ils’agit d’adapter au cadre de l’observation partielle de l’état. Les équipes COMORE et
LBE fourniront les classes de politiques appropriées dans lesquelles nous effectuerons
la recherche.

33 Identité et role des participants
3.1 Equipe SequeL de l’INRIA Futurs, Lille
L’équipe SequeL est une jeune équipe INRIA Futurs située à Lille, créée en Avril
2006. SequeL (pour Sequential Learning) s’intéresse à différents aspects de l’apprentissage séquentiel, notamment l’apprentissage de modèles à partir de données observées, et l’apprentissage de séquences de prises de décisions (stratégie d’action ou politique de contrôle). Le cadre méthodologique privilégié est le cadre probabiliste : méthodes bayésiennes, apprentissage statistique, apprentissage par renforcement, contrôleet estimation dans les chaînes de Markov partiellement observées. L’équipe SequeLsouhaite motiver ses recherches théoriques par des problématiques appliquées qui luiservent de validation, en plus de lui fournir un cadre privilégié d’expérimentation.
Les intervenants dans cette ARC sont :– Rémi Munos, Directeur de Recherche INRIA, Coordinateur du projet ARC CODA.
– Pierre-Arnaud Coquelin, Doctorant de l’Ecole Polytechnique.
– Manuel Davy, Chargé de Recherche CNRS, LAGIS, Ecole Centrale de Lille.
– Philippe Preux, Professeur à l’Université Lille 3, responsable du projet SequeL.
– Jérémie Mary, Maître de Conférence à l’Université Lille 3.

3.2 Equipe COMORE de l’INRIA Sophia Antipolis
L’objectif global de COMORE est de développer et d’appliquer des méthodes del’automatique non linéaire (observation, identification, contrôle optimal, théorie desjeux) et de la théorie des systèmes dynamiques à la modélisation mathématique desressources vivantes exploitées (ressources renouvelables), et à leur gestion. Le cadreusuel de modélisation est déterministe, et formulé selon des equations différentielles
ordinaires contrôlées, de type :ẋ(t) = f (x(t), u(t), θ)y(t) = h(x(t))(1)

où x(t) ∈ Rn est l’état du système, u(t) ∈ Rm le contrôle à déterminer, y(t) ∈ Rq
l’observation (l’information dont on dispose pour contrôler le système) et θ ∈ Rq un
vecteur de paramètres caractéristiques du modèle.
Le projet COMORE a développé des approches spécifiques en prenant en compte
les fortes incertitudes associées aux systèmes biologiques. Il dispose aussi d’une longue
expérience sur la modélisation, le contrôle et l’estimation d’état pour la digestion anaérobie. Cette expérience repose sur une collaboration étroite avec le Laboratoire de Biotechnologie de l’Environnement (LBE) de l’INRA, notamment au cours de 2 projets
Européens (dont TELEMAC, coordonné par O. Bernard), et le co-encadrement de 4
thèses (2 sont encore en cours). Ces travaux ont notamment permis d’établir le modèle
AM2 [1], qui servira de point de départ à l’étude. Nous avons aussi développé de nombreux contrôleurs robustes qui pourraient être utilisés comme une base de recherche depolitique optimale optimisant le critère de coût choisi.
Enfin, le projet COMORE développe en C++, et avec un moteur de calcul Scilab, une plateforme de pilotage de bioréacteurs (ODIN). Cette plateforme permettrad’accueillir les algorithmes d’observation et de contrôle des fermenteurs. Les résultats
développés dans le cadre de cette ARC pourront donc être testés par le biais de cetoutil.
Les intervenant sont :4

– Frédéric Grognard, Chargé de recherche INRIA.
– Olivier Bernard, Chargé de recherche INRIA.
– Jonathan Hess, Doctorant.

3.3 LBE à Narbonne de l’INRA
Le Laboratoire de Biotechnologie de l’Environnement mène des actions de recherche et de développement dans le domaine du traitement biologique des résidus solides et des effluents liquides d’origine domestique, agricole et agro-industrielle. Cela
suppose une connaissance fine des mécanismes et des processus intervenant au cours
des transformations et une bonne maîtrise des procédés. Sur le plan national, le LBE
possède une expertise reconnue dans le domaine de la méthanisation, et se place parmi
les 3 laboratoires les plus dynamiques dans le domaine à l’échelle mondiale. L’équipe
Ingénierie des Procédés regroupe des compétences en génie microbiologique, génie
des procédés et automatique. Elle est composée de 10 scientifiques permanents, de 4
techniciens et d’une dizaine de doctorants ou post-doctorants. Cette équipe a acquis,
depuis 1993, une grande expérience de l’instrumentation (titrimétrie et spectrométrie
infrarouge en ligne), de la modélisation, de la commande et du diagnostic des procédésde digestion anaérobie en utilisant le formalisme des systèmes dynamiques et les outils
de l’intelligence artificielle.
Les intervenants sont :– Jean-Philippe Steyer : directeur de recherche en automatique.
– Eric Latrille : ingénieur de recherche en instrumentation.
– Grégory Françis : maître de conférence en automatique à l’IUT de Génie desprocédés (Narbonne et LP2A-Perpignan)– Ivan Ramirez : doctorant "Modeling and control of microbial diversity in anaerobic digesters"

3.4 Société Naskeo Environnement
NASKEO Environnement est une jeune société innovante spécialisée dans la digestion anaérobie d’effluents et de déchets organiques industriels. NASKEO propose donc
à ses clients des installations clé en main de valorisation de sous-produits en énergierenouvelable (sous forme d’électricité et de chaleur). Elle axe son développement surla mise au point de solutions adaptés aux besoins des clients et aux spécificités de la digestion anaérobie. Naskeo possède une license exclusive sur la technologie PROVEO,
développée et brevetée par le LBE de l’INRA. Naskeo travaille depuis plus d’un anavec P-A. Coquelin et R. Munos de SequeL sur des problématiques de recherche encontrôle de méthaniseurs par méthodes adaptatives.
Les intervenants sont :– Sylvain Frédéric, Responsable Recherche et Développement.
– Damien Delhomme, Responsable Industriel et Automatisation.

4 Objectifs de travail et planification
4.1 Modélisation des dynamiques de réaction (0-6 mois)
Durée estimée : 6 mois.

5

La première tâche à entreprendre consistera à analyser les différents modèles cinétiques biologiques existants (expertise du projet COMORE) qui sont principalement detype déterministe et de dimensionalité élevée (de l’ordre de 20 pour les plus précis),
afin d’établir des modèles de dimension restreinte (de l’ordre de 6) mais incluant destermes stochastiques (bruits).
La construction des modèles se fera en deux étapes :– L’étude analytique du bruit introduit par la réduction du nombre de variablesd’état en partant du modèle ADM1 [4].
– L’étude statistique de la nature du bruit. En particulier, on modélisera ce bruit
par des Processus de Dirichlet.

4.2 Identification des paramètres (6-12 mois)
Durée estimée : 3 mois pour le développement méthodologique et 3 mois pour lavalidation expérimentale sur réacteur semi-industriel.
Les modèles des dynamiques font intervenir un jeu de paramètres à déterminer qui
dépend d’un grand nombre de facteurs (composition de l’effluent, taille de la cuve,etc.). Nous développerons de manière privilégiée des outils de filtrage particulaire pourl’identification rapide de ces paramètres.
Cette méthodologie sera validée selon les étapes suivantes :– Recolte de données réelles sur le réacteurs de laboratoire à partir de scénarios industriels proposés par Naskeo (nature et concentration de l’effluent variant dansle temps, défaillance de capteurs, etc.).
– Sur les données récoltées, comparaison des qualités de prédiction de notre modéle utilisant les paramètres identifiés avec d’autres modèles existants.

4.3 Développement d’outils de contrôle et leur validation (12-24
mois)
Durée estimée : 6 mois pour le développement algorithmique et numérique et
6 mois pour la validation expérimentale sur le réacteur de laboratoire et celui semiindustriel.
Tout d’abord nous définirons un critère raisonnable à optimiser (par exemple la production de biogaz sous contrainte de viabilité du réacteur). Ensuite, nous développerons
des méthodes de recherche directe de politiques paramétrées (expertise COMORE /LBE) par des outils d’analyse de sensibilité dans les POMDPs avec estimation de l’état
caché par méthode de filtrage particulaire (expertise SequeL).
A ce stade, les collaborations entre les diverses équipes participantes seront déterminantes pour partager nos expertises et développer un outil de contrôle du réacteur, àla fois robuste, adaptatif et innovant.
Les approches proposées seront d’abord testées sur le simulateur de digestion anaérobie ADM1 du LBE. Ensuite, elles seront évaluées sur le réacteur de laboratoire, puis
seront implémentées sur le réacteur semi-industriel (en utilisant la plateforme de pilotage de fermentation anaérobie ODIN développée par COMORE). Des comparaisonsseront effectuées avec des algorithmes de contrôle existants.
Naskeo fournira différents sénarii de situations industrielles (débits d’effluents,
concentration, pannes, etc.) pour tester la robustesse de l’approche.

65 Montant de la demandeCette proposition de recherche coopérative regroupe des personnels permanents
INRIA, INRA, universitaires et industriels ainsi que des doctorants, tous déjà impliqués
dans des activités de recherche et d’enseignement. Il nous paraît essentiel d’obtenir lefinancement d’un stage postdoctoral (40000 euros) d’une durée d’un an pour mener àbien l’ensemble des travaux. De plus, deux stagiaires de Master (6 mois) seront répartis
sur les autres équipes selon les besoins scientifiques (2 × 9000 euros).
Par ailleurs, un budget missions est prévu, pour l’organisation de réunions et ledéplacement entre les quatre sites : Narbonne, Sophia Antipolis, Lille et Paris. En particulier, les missions de validation sur réacteurs à Narbonne seront intensifiées en 2008.
Le budget équipement correspond à l’acquisition d’un réacteur de laboratoire (20000
euros), exploité sur le site LBE situé à Narbonne qui sera équipé en capteurs (notamment capteurs à Acides Gras Volatils et analyseur de biogaz), de manière à faciliter
l’identification des modèles et leur validation, ainsi que d’une interface PC (carte d’acquisition) en vue de leur contrôle. Remarquons que le LBE à Narbonne dispose d’unréacteur semi-industriel mais que les coûts de maintenance de ce dernier étant très élevés et son utilisation assez contraignante, nous ne l’utiliserons que pour des phases devalidation terminale de nos travaux. Pour les phases expérimentales, et la validation denos modèles, nous utiliserons le réacteur de laboratoire, ce qui justifie cette demanded’investissement.
Le montant de la demande est récapitulée ci-dessous :Année 2007

Budget équipement :Frais de mission :Personnel (1/2 postdoc + stage Master) :

22000
8000
29000

Année 2008

Budget équipement :Frais de mission :Personnel (1/2 postdoc + stage Master) :

2000
10000
29000

Total :

100000 euros.

6 Budget des projets INRIA impliqués
Les budgets 2007 des projets INRIA impliqués dans le projet sont les suivants :– Projet COMORE : 100 000 euros.
– Projet SEQUEL : 206 000 euros.

Références[1] Olivier Bernard, Z. Hadj-Sadok, D. Dochain, A. Genovesi, and J.-P. Steyer. Dynamical model development and parameter identification for an anaerobic wastewater
treatment process. Biotech.Bioeng., 75 :424–438, 2001.
[2] P-A. Coquelin, R. Deguest, and R. Munos. Parameter identification in hiden Markov model via perturbation analysis. Submitted to SIAM Journal of Optimization
and Control, 2006.

7

[3] Manuel Davy, Françis Caron, Arnaud Doucet, Emmanuel Duflos, and Philippe
Vanheeghe. Bayesian inference for linear dynamic models with dirichlet process
mixtures. Submitted to IEEE trans. on Signal Processing, 2006.
[4] Task Group for Mathematical Modelling of Anaerobic Digestion Processe. Anaerobic Digestion Model No.1 (ADM1). IWA Publishing, 2002.
[5] L. Mailleret, O. Bernard, and J.-P. Steyer. Robust nonlinear adaptive control forbioreactors with unknown kinetics. Automatica, 40 :8 :365–383, 2004.
[6] R. Munos. Policy gradient in continuous time. Journal of Machine Learning
Research, 7 :771–791, 2006.

8