Transfer learning e convolutional neural networks para a classificação de imagens e reconhecimento de objetos no âmbito da perícia criminal

Abstract

A popularização do uso de aparelhos eletrônicos, como smartphones, tablets e computadores, aliado ao aumento da capacidade de armazenamento desses dispositivos, está impactando a área da perícia criminal. Cada vez mais tempo e experiência são exigidos na análise de evidências digitais na investigação criminal. Diante desse cenário, técnicas de aprendizado de máquina estão sendo implantadas no campo da perícia criminal, a fim de auxiliar a obtenção de evidências relevantes de forma mais célere e uniforme. Este trabalho apresenta um estudo que utiliza Transfer Learning (TF) e Convolutional Neural Networks (CNN) na classificação de imagens e no reconhecimento de objetos de interesse na área da perícia criminal. O modelo para classificação de imagens criado a partir de CNN obteve, para os conjuntos de testes, acurácia de 98% na classificação de imagens contendo documentos e não documentos, e 99% de acurácia na classificação entre documentos de identificação e documentos gerais. No que tange à detecção de armas em arquivos de imagem, o modelo criado utilizando a arquitetura YOLOv3 obteve mAP de 0,85. Os classificadores desenvolvidos foram integrados ao software de perícia computacional Autopsy, fornecendo acurácia de 97,9% na classificação de imagens contendo documentos. Foi possível, ainda, integrar a detecção de pessoas, carros e armas a essa ferramenta, permitindo identificar corretamente armas em 77,2% das imagens testadas. Por meio dos resultados obtidos com a integração com o software Autopsy, verifica-se o potencial prático deste projeto para realizar classificações e detecções de objetos em imagens objeto de perícia criminal.