Aprendizagem por reforço aplicada ao gerenciamento tático do fluxo de tráfego aéreo

Abstract

O Gerenciamento do Tráfego Aéreo (ATM) se define como um domínio amplo constituído por atividades complexas. No Brasil, o Centro de Gerenciamento da Navegação Aérea (CGNA) é o responsável pelo desempenho do ATFM, cabendo-lhe monitorar e gerenciar 46 setores de controle de tráfego aéreo, 39 áreas de aproximação (TMA), cada qual com pelo menos um aeroporto, além de aproximadamente 5.000 movimentos aéreos diários. Neste contexto emerge a problemática objeto do presente trabalho, qual seja, a inexistência de um sistema de apoio à decisão que auxilie os gerentes de fluxo de tráfego a lidar com o conjunto de variáveis, inerentes ao cenário ATFM, e os auxilie a tomar decisões (adotar medidas de controle de fluxo) na ventualidade da ocorrência de desbalanceamento na relação capacidade X demanda. Este trabalho, portanto, apresenta um protótipo de módulo de apoio à decisão baseado em aprendizagem por reforço que tem como saída sugestões de medidas de controle de fluxo de tráfego geradas a partir de cenários aéreos com pontos de saturação. O módulo desenvolvido foi concebido como um agente inteligente, baseado em aprendizagem, que utiliza o algoritmo Q-learning. O desempenho do protótipo é avaliado por intermédio de um estudo de caso modelado a partir das demandas reais de tráfego verificadas em datas determinadas. O estudo de caso permitiu estabelecer uma análise comparativa entre o desempenho do módulo dadas duas condições. Na primeira condição, o agente atuou a partir de um conjunto de ações que não incorporava a experiência do agente humano (gerente de fluxo de tráfego). Num segundo momento, o agente utilizou um conjunto de ações que incorporava madidas de controle de tráfego adotadas pelos gerentes de fluxo de tráfego em cenários reais. Para a composição de tal conjunto de ações, foram pesquisados todos os registros de ações tomadas entre janeiro de 2008 e março de 2010. O critério básico de avaliação foi a convergência do Algoritmo Q-learning. Os resultados obtidos no estudo de caso são promissores, na medida em que o comportamento dos agentes concebidos indicam que o Algoritmo Q-learning convergiu de forma satisfatória, decorrendo que os protótipos geraram ações que contribuiram de forma efetiva para a redução das saturações nos cenários aéreos testados. Desta feita, com o desenvolvimento dos referidos protótipos, foi possível demonstrar a aplicabilidade de formalismos da Inteligência Artificial na busca de soluções nacionais, para a Problemática ATFM, inteiramente concebidas segundo as características e necessidades do país. ______________________________________________________________________________ ABSTRACT

Air Traffic Management (ATM) is defined as a broad area consisting of complex Activities. ATFM occurs in three different contexts: strategic, pre-tactical and tactical. The tactical ATFM is an activity that aims to maintain an optimum balance between capacity (airspace and airports) and demand (fight intentions), considering to adopt all possible measures in a period of up to two hours prior to the scheduled takeoff time. The Centre for Management of Air Navigation (CGNA) is responsible for the performance of ATFM, and with the daily work of monitoring and managing Brazilian air space, which consists of 46 sectors of air traffic control, 39 areas of approximation (TMA), each with at least one airport, and approximately 5,000 aircraft movements daily. In this context emerges the problematic object of the present work, namely the lack of a decision support system to help the traffic flow managers to deal with all the variables inherent in the scenario ATFM, and help them make decisions (adopt measures to control flow) in the event of imbalance in the ratio capacity X demand. This dissertation therefore presents a prototype of the decision support system based on Artificial Intelligence method, especially, reinforcement learning that has as output measures (suggestions to air traffic flow management) generated from scenarios with saturation points. The developed module was designed as an intelligent agent using the Q-learning algorithm. The performance of the prototype is evaluated through a case study modeled from the real demands of traffic on certain dates.The case study allowed to establish a comparative analysis between the module performance given two conditions. In the first condition, the agent acted from a set of actions produced without the participation of the human agent (manager of traffic flow). Secondly, the agent used a set of actions that incorporated measures adopted by the managers of traffic flow in real scenarios. For the composition of such a set of actions, all records of actions taken between January 2008 and March 2010 were considered. The basic criterion of evaluation was the convergence of Q-learning algorithm. The results showed, as expected, that complex congestion (involving multiple saturation points and of spatially dispersed flow control measures) are handled more efficiently by the computational agent (module). This research demonstrated the feasibility of using reinforcement learning to develop a decision support system applied to tactical ATFM considering Brazilian national scene.