[en] In recent years, there has been an exponential increase of information generated and made available every day. Due to rapid technological advancement (e.g., mobile devices, sensors, wireless communication, etc.) billions and billions of bytes are created every day. This phenomenon, called Big Data, is characterized by 5 Vs (i.e., Volume, Velocity, Variety, Veracity, Value) and each represents real challenges (e.g., how to collect and carry a large amount of information; how to store this information; how mining it, analyzing it and extracting knowledge; how to ensure its security and privacy; how to process it in real time, etc.). It is unanimous in the scientific community that the value to be extracted from all this information will be a factor of extreme importance for the decision making, determining the success of the most varied economic areas, as well as the resolution of numerous problems. These areas include the energy ecosystem that, for ecological, economic and political reasons, led us to rethink the way we consume and produce energy. Due to the increase in energy needs caused by technological advances, the expected depletion of non-renewable energy resources and due to the energy efficiency directives imposed by the European Union, many studies have been carried out in the area of energy resources management. The term Smart Grid has emerged in the last decades with the objective of defining an intelligent energy ecosystem, which aims not only to integrate intelligence but also to automate the extremely complex operability of all its processes. Smart grids have been the subject of major studies and investments which have resulted in significant advances. However, some challenges have to be addressed in the management of its complex data flow. It is in this context that the present dissertation falls, with the main objective on obtaining solutions to some of the problems identified in the field of Smart Grids using new techniques and methodologies proposed in the area of Big Data. This paper presents a study on the recent and growing technological advances in the area of Big Data, where its major challenges are identified. These include complexity in the management of continuous and disordered flows, the need to reduce the time spent in pre-preparation of data and the challenge of exploring solutions that provide analytical automation. On the other hand, the study analyzes the impact of the application in the new technologies in the development of the Smart Grids, in which it is concluded that, although embryonic, its application is essential for the evolution of the energy ecosystem. This study also resulted in the identification of the main challenges in the area of Smart Grids, which highlight the complexity in managing its data flow in real time and the need to improve the accuracy of energy consumption and production forecasts. Given the identified challenges, a conceptual model, based on the Docker Container architecture, was proposed for the development of a platform. This model aims at flexibility and agility in order to allow the integration and validation of the new and growing technological approaches proposed in the area of Big Data, necessary for the development of Smart Grids. In order to validate the proposed model, a stack was developed where several services were implemented that aimed to contribute to the challenges identified in the area of Big Data and Smart Grids, namely: visualization and monitoring of data collected in real time; preparation of data collected in real time; real-time forecasting of multiple time series simultaneously; detection of anomalies; evaluation of the accuracy of forecasting and generation of new models for the forecast of consumption and production of energy according to certain criteria. Finally, a number of case studies were developed whose results allowed us to conclude on the importance of the pre-preparation of the data in the analytical phase, on the efficiency in the analytical automation and on the advantages of the Edge Analytics. Unlike more traditional approaches to the centralized execution of the analytic process, edge analytics explores the possibility of performing data analysis in a decentralized way from a non-central point of the system. The results allowed to conclude that edge analytics brings added advantages to the precision of the forecasts. Results allowed us to infer how to collect the data in order to obtain a better precision in the predictions, i.e., the more precise and context-adjusted the forecasts are executed the greater their accuracy.

[pt] Nos ?ltimos anos tem-se verificado um acr?scimo exponencial de informa??o gerada e disponibilizada a cada dia. Devido ao r?pido avan?o tecnol?gico (dispositivos m?veis; sensores; comunica??o wireless; etc.) bili?es e bili?es de bytes s?o criados todos os dias. Este fen?meno, denominado por Big Data, ? caracterizado por 5 Vs (i.e. Volume, Velocidade, Variedade, Veracidade, Valor) e cada um deles representa verdadeiros desafios (e.g. como recolher e transportar um grande volume de informa??o; como armazenar essa informa??o; como miner?-la, como analis?-la e extrair conhecimento, como garantir a sua seguran?a e privacidade, como process?-la em tempo real, etc.). ? unanime na comunidade cient?fica que o valor a extrair de toda esta informa??o constituir? um fator de extrema import?ncia para a tomada de decis?o, determinante no sucesso das mais variad?ssimas ?reas econ?micas, bem como na resolu??o de in?meros problemas. Nestas ?reas inclui-se o ecossistema energ?tico que por raz?es ecol?gicas, econ?micas e pol?ticas conduziu ao repensar da forma como consumimos e produzimos energia. Devido ao aumento das necessidades energ?ticas provocado pelo avan?o tecnol?gico, ao previsto esgotamento dos recursos energ?ticos n?o renov?veis e devido ?s diretivas para a efici?ncia energ?tica impostas pela Uni?o Europeia, muitos t?m sido os estudos feitos na ?rea da gest?o de recursos energ?ticos. O termo Smart Grids surgiu nas ?ltimas d?cadas com o objetivo de definir um ecossistema energ?tico inteligente, que visa n?o s? a integra??o de intelig?ncia, mas tamb?m de automa??o na operabilidade extremamente complexa de todos os seus processos. As Smart Grids t?m sido alvo de grandes estudos e investimentos dos quais t?m resultado avan?os significativos. No entanto, alguns desafios est?o ainda por concretizar nomeadamente na gest?o do seu complexo fluxo de dados. ? neste contexto que se enquadra a presente disserta??o cujo principal objetivo se centra na obten??o de solu??es para alguns dos problemas identificados no dom?nio de Smart Grids com recurso ?s novas t?cnicas e metodologias propostas na ?rea de Big Data. Este trabalho apresenta um estudo sobre os recentes e crescentes avan?os tecnol?gicos realizados na ?rea de Big Data, onde s?o identificados os seus grandes desafios. Destes destacam-se a complexidade na gest?o de fluxos cont?nuos e desordenados, a necessidade de reduzir o tempo despendido na pr?prepara??o dos dados e o desafio de explorar solu??es que proporcionem a automatiza??o anal?tica. Por outro lado, o estudo analisa o impacto da aplica??o nas novas tecnologias no desenvolvimento das Smart Grids, no qual se conclui que apesar de embrion?ria, a sua aplica??o ? imprescind?vel para a evolu??o do ecossistema energ?tico. Deste estudo resultou ainda a identifica??o dos principais desafios na ?rea das Smart Grids, dos quais se destacam a complexidade na gest?o do seu fluxo de dados em tempo real e a necessidade de melhorar a precis?o das previs?es de consumo e produ??o de energia. Face aos desafios identificados foi proposto um modelo conceptual, baseado na arquitetura Docker Container, para o desenvolvimento de uma plataforma. Este modelo objetiva a flexibilidade e agilidade de forma a permitir a integra??o e valida??o das novas e crescentes abordagens tecnol?gicas propostas na ?rea de Big Data, necess?rias ao desenvolvimento das Smart Grids. A fim de validar o modelo proposto, foi desenvolvida uma stack onde foram implementados v?rios servi?os que visaram contribuir para os desafios identificados na ?rea de Big Data e Smart Grids, nomeadamente: visualiza??o e monitoriza??o dos dados recolhidos em tempo real; prepara??o dos dados recolhidos em tempo real; previs?o em tempo real de v?rias s?ries temporais simultaniamente; dete??o de anomalias; avalia??o da precis?o das previs?es e gera??o de novos modelos para a previs?o de consumo e produ??o de energia segundo determinados crit?rios. Finalmente foram desenvolvidos v?rios casos de estudo cujos resultados obtidos permitiram concluir sobre a import?ncia da pr?-prepara??o dos dados na fase anal?tica, sobre a efici?ncia na automatiza??o anal?tica e sobre as vantagens da an?lise de ponta (Edge Analytics). Ao contr?rio de abordagens mais tradicionais que visam a execu??o centralizada do processo anal?tico, o edge analytics explora a possibilidade de executar a analise de dados de forma descentralizada a partir de um ponto n?o central do sistema. Os resultados permitiram concluir que o edge analytics traz vantagens acrescidas para a precis?o das previs?es. Permitiram ainda, inferir sobre como recolher os resultados a fim de se obter uma melhor precis?o nas previs?es, i.e., quanto mais espec?fica e ajustada ao contexto forem executadas as previs?es maior ser? a sua precis?o.