title: Applying deep reinforcement learning to seismic amplitude data for strategic drilling in geological exploration
Creators: name: Perez Altamar, Roderick
Publisher: name: :none
Year: 2024

description: Die Optimierung der Standortauswahl für Bohrungen in der Erdöl- und Erdgasindustrie stellt eine erhebliche und komplexe Herausforderung dar, bedingt durch die komplexen Strukturen der geologischen Untergrundformationen und die Unsicherheiten in den Explorationsdaten. Diese Arbeit begegnet diesen Herausforderungen durch die Integration fortschrittlicher Techniken der künstlichen Intelligenz (KI), insbesondere des Deep Reinforcement Learning (RL), mit geologischen Modellen, um die Genauigkeit und Effizienz der Kohlenwasserstoffexploration zu verbessern. Die zentrale Methodik gliedert sich in drei Hauptphasen: die Generierung synthetischer geologischer Modelle, die Simulation der Kohlenwasserstoffmigration und die Ermittlung optimaler Bohrstandorte durch Reinforcement Learning. In der ersten Phase werden synthetische geologische Sektionen mittels Markov-Ketten-Entscheidungsprozessen generiert, um die probabilistische Natur geologischer Formationen zu modellieren. Dieser Ansatz ermöglicht die Schaffung verschiedener geologischer Szenarien, die wesentliche Merkmale wie Schichtungen, Verwerfungen und Lagerstättenbildung abbilden und eine kontrollierte, dennoch realistische Umgebung für das Training der KI schaffen. Die zweite Phase nutzt agentenbasierte Modellierung (ABM), um die Migration und Akkumulation von Kohlenwasserstoffen innerhalb dieser synthetischen geologischen Modelle zu simulieren. ABM berücksichtigt geologische Eigenschaften wie Porosität, Permeabilität und Fluiddynamik und modelliert die komplexen Wechselwirkungen, die die Kohlenwasserstoffmigration und Lagerstättenbildung beeinflussen. Diese Simulation dient als dynamischer Datensatz, der reale geologische Prozesse nachbildet und eine realistische und anspruchsvolle Testumgebung für KI-Anwendungen in der Exploration bietet. In der dritten Phase wird ein Reinforcement Learning (RL)-Agent, der ein Deep Q-Network (DQN) verwendet, darauf trainiert, potenzielle Bohrstandorte anhand synthetischer seismischer Amplitudendaten zu identifizieren, die aus den geologischen Modellen abgeleitet wurden. Das DQN-Modell lernt effektive Explorations- und Bohrstrategien durch iterative Interaktionen mit der geologischen Umgebung und balanciert dabei Erkundung und Ausnutzung aus, um die Entdeckung kohlenwasserstoffreicher Zonen zu maximieren. Durch die Anpassung von Hyperparametern wie Lernrate und Epsilon-Zerfall wird der Agent darauf abgestimmt, langfristige Explorationserträge zu optimieren, was seine Entscheidungsfähigkeit bei der Auswahl potenzieller Bohrstandorte verbessert. Diese Studie untersucht den Einfluss verschiedener DQN-Konfigurationen und Trainingsparameter und bietet Einblicke, wie spezifische Modellanpassungen die Explorationseffizienz und den Erfolg bei der Lokalisierung von Kohlenwasserstoffen beeinflussen. Die Arbeit ist in sechs Kapitel gegliedert. Kapitel 1 führt in das Problem ein, beschreibt die aktuellen Einschränkungen in der Kohlenwasserstoffexploration und die potenziellen Auswirkungen der KI-Integration in geologische Anwendungen. Kapitel 2 beschreibt die Methodik zur Generierung synthetischer geologischer Sektionen mittels Markov-Ketten, wobei die Konstruktion der probabilistischen Modelle und deren geologische Validität detailliert dargestellt werden. Kapitel 3 präsentiert die Anwendung der agentenbasierten Modellierung zur Simulation der Kohlenwasserstoffmigration und diskutiert, wie geologische Merkmale im agentenbasierten Framework kodiert und die daraus resultierenden Bewegungen der Kohlenwasserstoffe innerhalb der Modelle dargestellt werden. Kapitel 4 beschreibt das Design und Training des RL-Agents, einschließlich der Implementierung von DQN, der Modellarchitektur und der eingesetzten Trainingsstrategien zur Identifizierung optimaler Bohrstandorte. Kapitel 5 stellt die experimentellen Ergebnisse vor, vergleicht verschiedene RL-Modellkonfigurationen und bewertet die Leistung des Agents anhand definierter geologischer Ziele. Kapitel 6 diskutiert die umfassenderen Implikationen der Ergebnisse, die Grenzen der Studie und potenzielle Wege für zukünftige Forschung. Die wichtigsten Ergebnisse zeigen, dass ein RL-Agent, der auf synthetischen geologischen Daten und seismischen Amplitudeneingaben trainiert wurde, effektiv optimale Bohrstandorte identifizieren und so die Explorationseffizienz verbessern kann. Die Ergebnisse verdeutlichen, dass eine hohe Explorationseffizienz erreicht wird, wenn der Agent einer Balance aus geologischer Komplexität und ausreichender Explorationsfreiheit ausgesetzt ist – eine Balance, die durch die annealed epsilon-greedy policy des DQN erleichtert wird. Die Schlussfolgerungen unterstreichen das Potenzial der Kombination von geologischer Modellierung und KI-Techniken zur signifikanten Verbesserung der Kohlenwasserstoffexploration und betonen diesen interdisziplinären Ansatz als vielversprechende Richtung für zukünftige Anwendungen im Öl- und Gassektor sowie in anderen Rohstoffindustrien. Diese Forschung trägt nicht nur zu Fortschritten in der Technologie der Kohlenwasserstoffexploration bei, sondern auch zur breiteren Anwendung von Reinforcement Learning bei der Lösung komplexer, realweltlicher geologischer Probleme.
description: The optimization of drilling site selection for hydrocarbons in the oil and gas industry presents a significant and complex challenge due to the inherent intricacies of subsurface geological formations and the uncertainty of data in exploration. This research addresses these challenges by integrating advanced artificial intelligence (AI) techniques, specifically deep reinforcement learning (RL), with geological modeling to improve the accuracy and efficiency of hydrocarbon exploration. The core methodology is structured into three main stages: synthetic geological model generation, hydrocarbon migration simulation, and optimal drilling location identification through reinforcement learning. The first stage involves generating synthetic geological sections using Markov Chain decision processes to model the probabilistic nature of geological formations. This approach enables the creation of a variety of geological scenarios, capturing key features such as stratification, faulting, and reservoir formation, which provide a controlled yet realistic environment for AI training. The second stage applies Agent-Based Modeling (ABM) to simulate the movement and accumulation of hydrocarbons within these synthetic geological models. ABM accounts for geological properties like porosity, permeability, and fluid dynamics, modeling the complex interactions that influence hydrocarbon migration and reservoir formation. This simulation serves as a dynamic dataset that mimics real-world geological processes, enabling a realistic and challenging testing ground for AI applications in exploration. In the third stage, a reinforcement learning (RL) agent, utilizing a Deep Q-Network (DQN), is trained to identify potential drilling sites based on synthetic seismic amplitude data derived from the geological models. The DQN model is designed to learn effective exploration and drilling strategies through iterative interaction with the geological environment, balancing exploration and exploitation to maximize the discovery of hydrocarbon-rich zones. By adjusting hyperparameters such as the learning rate and epsilon decay, the agent is fine-tuned to optimize long-term exploration returns, thereby improving its decision-making capability in selecting high-potential drilling locations. This study explores the influence of various DQN configurations and training parameters, providing insight into how specific model adjustments affect exploration efficiency and success rates in locating hydrocarbons. This thesis is organized into six chapters. Chapter 1 introduces the problem, outlining the current limitations in hydrocarbon exploration and the potential impact of AI integration in geological settings. Chapter 2 describes the methodology behind generating synthetic geological sections using Markov Chains, providing details on the construction of the probabilistic models and their geological validity. Chapter 3 presents the application of ABM for simulating hydrocarbon migration, discussing how geological characteristics are encoded in the agent-based framework and the resultant behavior of hydrocarbons within the models. Chapter 4 details the design and training of the RL agent, including the implementation of DQN, model architecture, and training strategies used to identify optimal drilling sites. Chapter 5 presents the experimental results, comparing various RL model configurations and evaluating the agent’s performance against defined geological objectives. Chapter 6 discusses the broader implications of the findings, the limitations of the study, and potential avenues for future research. The primary findings demonstrate that an RL agent trained on synthetic geological data and seismic amplitude inputs can effectively identify optimal drilling sites, thus enhancing exploration efficiency. Results show that high exploration efficacy is achieved when the agent is exposed to a balance of geological complexity and sufficient exploratory freedom, a balance facilitated through the DQN’s annealed epsilon-greedy policy. The conclusions highlight the potential of combining geological modeling and AI techniques to significantly enhance hydrocarbon exploration, underscoring this interdisciplinary approach as a promising direction for future applications within the oil and gas sector and other natural resource industries. This research contributes not only to advancements in hydrocarbon exploration technology but also to the broader application of reinforcement learning in solving complex, real-world geological problems.