Managing large-scale scientific hypotheses as uncertain and probabilistic data

of Thesis presented to LNCC/MCT in partial fulfillment of the requirements for the degree of Doctor of Sciences (D.Sc.) MANAGING LARGE-SCALE SCIENTIFIC HYPOTHESES AS UNCERTAIN AND PROBABILISTIC DATA Bernardo Gonçalves February 2015  Fabio Porto, D.Sc. In view of the paradigm shift that makes science ever more data-driven, in this thesis we propose a synthesis method for encoding and managing large-scale deterministic scientific hypotheses as uncertain and probabilistic data. In the form of mathematical equations, hypotheses symmetrically relate aspects of the studied phenomena. For computing predictions, however, deterministic hypotheses can be abstracted as functions. We build upon Simon’s notion of structural equations in order to efficiently extract the (so-called) causal ordering between variables, implicit in a hypothesis structure (set of mathematical equations). We show how to process the hypothesis predictive structure effectively through original algorithms for encoding it into a set of functional dependencies (fd’s) and then performing causal reasoning in terms of acyclic pseudo-transitive reasoning over fd’s. Such reasoning reveals important causal dependencies implicit in the hypothesis predictive data and guide our synthesis of a probabilistic database. Like in the field of graphical models in AI, such a probabilistic database should be normalized so that the uncertainty arisen from competing hypotheses is decomposed into factors and propagated properly onto predictive data by recovering its joint probability distribution through a lossless join. That is motivated as a design-theoretic principle for data-driven hypothesis management and predictive analytics. The method is applicable to both quantitative and qualitative deterministic hypotheses and demonstrated in realistic use cases from computational science. Resumo da Tese apresentada ao LNCC/MCT como parte dos requisitos necessários para a obtenção do grau de Doutor em Ciências (D.Sc.) GERÊNCIA DE HIPÓTESES CIENTÍFICAS DE LARGA-ESCALA COMO DADOS INCERTOS E PROBABILÍSTICOS Bernardo Gonçalves Fevereiro, 2015 Orientador: Fabio Porto, D.Sc. Tendo em vista a mudança de paradigma que faz da ciência cada vez mais guiada por dados, nesta tese propomos um método para codificação e gerência de hipóteses cient́ıficas determińısticas de larga escala como dados incertos e probabiĺısticos. Na forma de equações matemáticas, hipóteses relacionam simetricamente aspectos do fenômeno de estudo. Para computação de predições, no entanto, hipóteses determińısticas podem ser abstráıdas como funções. Levamos adiante a noção de Simon de equações estruturais para extrair de forma eficiente a então chamada ordenação causal impĺıcita na estrutura de uma hipótese. Mostramos como processar a estrutura preditiva de uma hipótese através de algoritmos originais para sua codificação como um conjunto de dependências funcionais (df’s) e então realizamos inferência causal em termos de racioćınio aćıclico pseudo-transitivo sobre df’s. Tal racioćınio revela importantes dependências causais impĺıcitas nos dados preditivos da hipótese, que conduzem nossa śıntese do banco de dados probabiĺıstico. Como na área de modelos gráficos (IA), o banco de dados probabiĺıstico deve ser normalizado de tal forma que a incerteza oriunda de hipóteses alternativas seja decomposta em fatores e propagada propriamente recuperando sua distribuição de probabilidade conjunta via junção ‘lossless.’ Isso é motivado como um prinćıpio teórico de projeto para gerência e análise de hipóteses. O método proposto é aplicável a hipóteses determińısticas quantitativas e qualitativas e é demonstrado em casos reaĺısticos de ciência computacional.