Skip navigation
Use este identificador para citar ou linkar para este item: http://repositorio.unb.br/handle/10482/34481
Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
2018_DéboraGomesdosReis.pdf1,89 MBAdobe PDFVisualizar/Abrir
Registro completo de metadados
Campo DCValorIdioma
dc.contributor.advisorLadeira, Marcelo-
dc.contributor.authorReis, Débora Gomes dos-
dc.date.accessioned2019-04-29T18:50:24Z-
dc.date.available2019-04-29T18:50:24Z-
dc.date.issued2019-04-30-
dc.date.submitted2018-07-30-
dc.identifier.citationREIS, Débora Gomes dos. Uso de técnicas de mineração de dados para identificar estruturas similares de bancos de dados. 2018. xii, 89 f., il. Dissertação (Mestrado Profissional em Computação Aplicada)—Universidade de Brasília, Brasília, 2018.pt_BR
dc.identifier.urihttp://repositorio.unb.br/handle/10482/34481-
dc.descriptionDissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.pt_BR
dc.description.abstractCom a crescente quantidade e tamanho das bases de dados, é cada vez mais difícil identificar as similares dentre grandes bases de dados armazenadas em diferentes Sistemas Gerenciadores de Banco de Dados (SGBDs). Por isso, é proposto o uso de técnicas de mineração de dados para identificar as estruturas similares de bancos de dados relacionais através da comparação de seus metadados. A quantidade de metadados é proporcional à quantidade de objetos de bancos de dados e as possibilidades de combinações para a comparação é quadrática em relação ao número de esquemas analisados. Em busca da técnica mais eficiente, foi proposta uma abordagem que calcula a similaridade de esquemas avaliando a distância de todos os esquemas para um esquema, considerado como origem. Obviamente, esquemas mais próximos são mais similares que esquemas mais distantes. Esta abordagem foi comparada com outras duas abordagens. A primeira compara todos os esquemas contra todos os outros esquemas, exceto a comparação inversa. A segunda abordagem compara os grupos de esquemas com tamanhos parecidos. Para validar as abordagens, é realizado um experimento com 354 esquemas reais de tamanhos pequeno a grande que variam de 2 a 20 mil objetos de banco de dados, advindos de 5 SGBDs de um Ministério do Brasil. Eles somam juntos mais de 26 mil tabelas e 238 mil colunas. Os metadados extraídos foram tratados e comparados em pares de esquemas. A similaridade das variáveis textuais é mensurada usando a distância cosseno e a das numéricas usando a distância euclidiana. A técnica de clusterização hierárquica é aplicada para facilitar a visualização dos esquemas mais similares. Como resultado, a abordagem proposta se mostrou a mais eficiente, identificou os esquemas com estruturas mais similares em menos de 2 minutos. Os metadados extraídos foram usados para criar o repositório de metadados da organização. Como isso, descobriu-se bancos de dados duplicados que, ao serem descontinuados, geraram economia de 10% no custeio e liberaram recursos de infraestrutura. Esta abordagem é flexível porque suporta uma variedade de SGBDs, de quantidade e de tamanhos de bases de dados.pt_BR
dc.language.isoPortuguêspt_BR
dc.rightsAcesso Abertopt_BR
dc.titleUso de técnicas de mineração de dados para identificar estruturas similares de bancos de dadospt_BR
dc.typeDissertaçãopt_BR
dc.subject.keywordBanco de dadospt_BR
dc.subject.keywordMetadadospt_BR
dc.subject.keywordMineração de dados (Computação)pt_BR
dc.subject.keywordArquitetura híbridapt_BR
dc.rights.licenseA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.pt_BR
dc.description.abstract1With the expanding diversity of database technologies and database sizes, it is becoming increasingly hard to identify similar relational databases among many large databases stored in different Database Management Systems (DBMS). Therefore, we propose to use data mining techniques to automatically identify similar structures of relational databases by comparing their metadata. The amount of metadata is proportional to the size of the schema structure. The possibilities of combinations for comparison is quadratic in relation to the number of schemas analyzed. Looking for the most efficient technique, we propose to calculate the schema similarity evaluating a distance of all the schemas to just one schema, which is a start point. Obviously schemas with close distances are more similar than schemas with bigger distances. We compare this proposal against two other approaches. The first approach compares all schemas against all another schemas except for its inverse comparison. The second approach compares schemas in a group of schemas with similar sizes. To validate our proposal, an experiment is performed with 354 real schemas ranging in sizes from 2 to 20 thousand metadata, totaling together more than 26 thousand tables and 238 thousand columns. Those schemas came from 5 different DBMS. The metadata extracted is transformed and formatted for comparing pairs of a schema. The textual features are compared using Cosine Distance and numerical features are compared using Euclidean Distance. Then, the hierarchical cluster technique is used to facilitate the visualization of the schema that most closely resembled one another. Results showed that, our was the most efficient because it compared all schema and identified the most similar schema by its structure in less than 2 minutes. The extracted metadata was used to create the first version of the metadata repository and an initial version of a data catalog. Using this procedure, duplicated schemas were discovered and then discontinued, resulting in a cost savings of 10% of cost savings, while freeing up infrastructure resources. This solution is flexible, it supports a variety of number of schema, of schema sizes, and DBMS.pt_BR
dc.description.unidadeInstituto de Ciências Exatas (IE)pt_BR
dc.description.unidadeDepartamento de Ciência da Computação (IE CIC)pt_BR
dc.description.ppgPrograma de Pós-Graduação em Computação Aplicada, Mestrado Profissionalpt_BR
Aparece nas coleções:Teses, dissertações e produtos pós-doutorado

Mostrar registro simples do item Visualizar estatísticas



Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.