Estratégias de recuperação para planejamento multiagente em ambientes dinâmicos

Abstract

Planejamento é o processo de deliberação tomado por um agente, humano ou robô, ao escolher ações para mudar o ambiente para uma condição desejável [Ghallab et al., 2016]. O processo de planejamento concentra-se na escolha e organização das ações por meio de seus efeitos esperados. Outrossim, o planejamento depende da coordenação das ações selecionadas para fornecer a ordem e o tempo corretos para permitir a cooperação e evitar a competição entre os agentes. Além disso, um agente não é apenas um executor e, portanto, deve integrar planejamento e raciocínio ao longo do processo de execução [Ghallab et al., 2014]. Planejamento multiagente (PMA) é uma área de pesquisa em ciência da computação que integra o planejamento de inteligência artificial com sistemas multiagentes. Embora o planejamento seja uma área de pesquisa madura da inteligência artificial, geralmente com foco em tarefas de agente único, os sistemas multiagentes envolvem agentes inteligentes que trabalham cooperativamente ou competitivamente para atingir objetivos individuais ou de grupo. Além disso, técnicas e modelos de PMA podem ser aplicados em diversas áreas, desde ambientes com alto nível de controle até cenários onde a incerteza é uma condição presente. Assim, as aplicações PMA podem ser adotadas em cenários comuns a complexos. A pesquisa na área de PMA é aplicável a problemas de mundo real, com interesse crescente em veículos autônomos, logística e automação de armazéns, sistemas multi-robôs e muitos outros domínios. Nesse contexto, dois pontos importantes podem ser destacados em tais aplicações. Primeiro, os agentes dependem ou afetam outros agentes em diferentes níveis, no que diz respeito à interação entre as execuções de suas ações. Em segundo lugar, os agentes precisam reagir dinamicamente às mudanças no estado do ambiente. Em ambos os casos, cada agente depende da capacidade de monitorar seu próprio estado, possibilitando identificar falhas no sistema. Além disso, os agentes devem se comunicar e negociar para se adaptar efetivamente às mudanças no ambiente. A cooperação desempenha um papel crucial na organização de agentes dentro de um sistema, mas seu significado vai além da mera organização. A cooperação permite que os agentes prestem assistência uns aos outros quando necessário e ajuda a evitar interferências na coordenação de atividades individuais. Portanto, a competição entre os agentes pode ser eliminada, permitindo que eles trabalhem para alcançar objetivos comuns. Vários fatores influenciam o processo de tomada de decisão e a complexidade de execução dentro de um PMA. A quantidade e capacidade dos recursos envolvidos, as condições operacionais e os procedimentos estratégicos são alguns dos aspectos que impactam significativamente as fases de planejamento, coordenação e execução. Em organizações hierárquicas, como empresas ou unidades militares, uma abordagem centralizada pode ser adotada para otimizar a utilização de recursos. Por outro lado, a execução pode ser descentralizada para permitir ações simultâneas. Sempre que possível, a execução das tarefas deve priorizar o desdobramento pontual e modular das capacidades, evitando a duplicação de ações e a dispersão de recursos, garantindo assim a eficácia e minimizando os custos operacionais e logísticos. Além disso, em cenários onde os agentes não têm controle total sobre o ambiente, os processos de planejamento, coordenação e execução tornam-se significativamente mais desafiadores. Nesses casos, os agentes operam em um ambiente dinâmico onde os resultados de suas ações não são determinísticas. Consequentemente, ambientes dinâmicos são suscetíveis a eventos inesperados que podem resultar em falhas de planejamento. Uma extensa pesquisa tem sido dedicada a explorar a integração das dimensões de planejamento, coordenação e execução no contexto de múltiplos agentes. No entanto, existe a necessidade de aprofundar a investigação e resolução de questões relativas à dimensão de execução. Dentro do domínio da pesquisa em planejamento, certas características tipicamente definem as abordagens propostas. Nos estudos classificados como PMA, a responsabilidade pelas capacidades de planejamento ou execução é distribuída entre os agentes. Normalmente, esses estudos introduzem modelos que consideram as ações como a única fonte de mudanças nos estados do ambiente, desconsiderando eventos inesperados decorrentes de interações [Chouhan and Niyogi, 2017, Štolba and Komenda, 2015, Torreño et al., 2014]. Consequentemente, essas abordagens assumem um ambiente totalmente observável e determinístico, sem incerteza quanto aos efeitos das ações. No entanto, essas características limitam a aplicabilidade dessas abordagens em ambientes dinâmicos onde os agentes devem possuir a capacidade de lidar com falhas. Por exemplo, os agentes podem encontrar falhas de execução, problemas de comunicação e conhecimento limitado sobre os fatos circundantes. Como resultado, essas abordagens, com o planejamento sendo realizado em uma fase única e separada da execução, têm aplicações limitadas. Nesses casos, é impossível lidar com eventos inesperados devido à dificuldade inerente de prever todos os estados possíveis dentro de um sistema multiagente. Diante disso, este trabalho verificou os modelos de PMA existentes e buscou abordar os problemas referentes à avaliação de desempenho e à combinação de estratégias de recuperação. Dessa forma, uma etapa crucial foi a realização de uma revisão de literatura abordando conceitos, técnicas e desafios do estado-da-arte. A revisão foi um processo conduzido com adoção de protocolos tradicionais e complementares para fornecer uma visão abrangente da área de pesquisa de PMA. Assim sendo, trabalhos de pesquisa no campo de ambientes dinâmicos frequentemente propõem duas estratégias de recuperação de planos. A primeira estratégia é o replanejamento, que envolve retirar ações de um plano anterior e gerar um novo plano a partir do estado atual para alcançar o estado desejado [Gouidis et al., 2018, Komenda et al., 2012, 2014]. A segunda estratégia é a reparação, que visa reutilizar ações de um plano anterior para restaurar uma condição prevista e desejável [Cashmore et al., 2019, Komenda et al., 2012, 2014, Mohalik et al., 2018]. Embora a estratégia de reparo geralmente exija menos tempo de planejamento em comparação com o replanejamento, a abordagem de replanejamento tende a gerar planos com um número menor de ações do que o reparo [Babli et al., 2023]. Neste ponto, dois problemas podem ser identificados. Em primeiro lugar, os estudos de MAP normalmente analisam valores médios de tempo de planejamento, número de ações e ocorrências de falhas. Portanto, muitas vezes carecem de uma avaliação abrangente que inclua fatores como desvio padrão, nível de confiança dos resultados, e métodos estatísticos de avaliação de estratégias de recuperação. Basear-se apenas em valores médios pode levar a conclusões prematuras sem considerar a distribuição geral dos dados. Além disso, apesar das vantagens e desvantagens associadas a cada estratégia, existe uma lacuna de pesquisa na literatura sobre a integração de técnicas de replanejamento e reparo em modelos PMA. Assim, um segundo problema identificado é que os modelos apresentados não que combinam replanejamento e reparo de maneira coesa e unificada. Como soluções, um método de avaliação de estratégias de recuperação em ambientes dinâmicos foi proposto para resolver o primeiro problema. Além disso, um processo de recuperação de planos que combina replanejamento e reparo também foi desenhado para ser uma solução para o segundo problema apresentado. Sendo assim, o objetivo deste trabalho foi apresentar uma análise abrangente das estratégias de recuperação de planos em ambientes dinâmicos para propor um modelo que explore as duas opções de maneira complementar. Logo, esse propósito foi dividido em dois objetivos específicos. O primeiro foi avaliar o desempenho e definir as características de reparação e replanejamento utilizando técnicas estatísticas de teste de hipótese e correlação. Em seguida, combinar as duas estratégias em um único modelo de tal maneira que suas potencialidades sejam exploradas. Para explorar a lacuna referente ao método de avaliação, essa tese apresenta uma análise mais ampla sobre o desempenho das estratégias de recuperação de planos em ambientes dinâmicos. De maneira diferente dos trabalhos correlatos, foi apresentada uma verificação da correlação entre as métricas que influenciam o rendimento destas estratégias. Assim, como um dos resultados obtidos, destaca-se a análise de que o nível de acomplamento, caracterizado pelo nível de ações públicas, é um fator influenciador das correlações entre as métricas. Além disso, a lacuna referente à combinação entre as estratégias de recuperação foi trabalhada na prosposta de modelo apresentado. Nesse quesito, o modelo proposto explora o uso de reparação de maneira individual pelos agentes, reservando o uso do replanejamento para uma fase posterior e centralizada, acionada caso a tentativa anterior não tenha tido sucesso. Com isso, as características das estratégias são exploradas de forma complementar, ou seja, a rapidez da reparação com a qualidade e robustez do replanejamento. Cabe também destacar que esse modelo minimiza a troca de mensagens em situações em que uma solução local é viável, o que é particularmente importante em ambientes complexos ou quando os agentes precisam deliberar rapidamente sobre soluções. Outrossim, os resultados forneceram condições para concluir que o número de objetivos e as falhas afetam a execução em diferentes condições. Por fim, os resultados apontam que o desenho do processo de recuperação do plano é adequado para vários cenários, destacando que a reparação deve ser explorada de forma descentralizada enquanto o replanejamento é feito de forma centralizada. Em resumo, esta tese apresenta e avalia um modelo de PMA aplicável a ambientes dinâmicos, que combina a estratégia de replanejamento e de reparo. Cabe destacar algumas contribuições para a área de pesquisa em PMA. Em primeiro lugar, ressalta-se um método para comparar o desempenho das estratégias de recuperação de planos em diferentes cenários, considerando tanto o planejamento centralizado quanto o distribuído com níveis variados de acoplamento. Ademais, a revisão da literatura traz outra contribuição ao fornecer uma visão abrangente da área de pesquisa de PMA. Ao examinar uma ampla gama de trabalhos acadêmicos, a revisão viabilizou identificar autores e organizações que fizeram contribuições substanciais para o campo de estudo, bem como os documentos mais citados.