Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time

Souza, Daniel da Cunha Rodrigues de

Use este identificador para citar ou linkar para este item: http://repositorio.unb.br/handle/10482/20422

Arquivos associados a este item:

Arquivo	Descrição	Tamanho	Formato
2015_DanieldaCunhaRodriguesdeSouza.pdf		2,46 MB	Adobe PDF	Visualizar/Abrir

Título:	Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time
Outros títulos:	A reference architecture for distributed processing streams of data for near real-time analytics
Autor(es):	Souza, Daniel da Cunha Rodrigues de
Orientador(es):	Sousa Júnior, Rafael Timóteo de
Coorientador(es):	Freitas, Edison Pignaton de
Assunto:	Business intelligence Internet Arquitetura de software Processamento distribuído
Data de publicação:	26-Mai-2016
Data de defesa:	20-Mai-2015
Referência:	SOUZA, Daniel da Cunha Rodrigues de. Uma arquitetura de referência para o processamento distribuído de stream de dados em soluções analíticas de near real-time. 2015. viii, 80 f., il. Dissertação (Mestrado em Engenharia Elétrica)—Universidade de Brasília, Brasília, 2015.
Resumo:	Os novos requisitos para o processamento em baixa latência de streams de dados distribuídos desaﬁam as arquiteturas tradicionais de processamento de dados. Uma nova classe de sistemas denominados Distributed Stream Processing Systems (DSPS) emergiram para facilitar a analise desses dados em baixa latência. Entretanto, a diversidade de arquiteturas, modelos de processamento e Application Programming Interfaces (APIs) nesses DSPSs aumentaram a complexidade no processo de desenvolvimento de sistemas para o processamento de dados. Nesse contexto, este trabalho propõe uma arquitetura de referência para o processamento de streams para soluções analíticas de near real-time. Essa arquitetura tem como base conceitos arquiteturais que estabelecem uma separação em camadas com responsabilidades bem deﬁnidas, resultando em um modelo de referência que promove o reuso de decissões de projeto e suporta a gestão da complexidade no desenvolvimento de sistemas de processamento de stream de dados. Para validar a solução proposta, essa arquitetura de referência é instanciada em um experimento que aborda o uso de dois algoritmos algorítimos probabílisticos: HyperLogLog e Count-Min Sketch.
Abstract:	The current requirement of low latency processing for high volume of data streams is pushing the limits of the traditional data processing architectures. A new class of applications called Distributed Stream Processing Systems (DSPS) has emerged to facilitate such large scale real time data analytics. Nevertheless the diversity of architectures, data models and APIs introduced by the use of these systems resulted in a greater complexity to the development of data processing systems. In this context, a reference architecture to data stream processing for near real-time analytics is proposed in this work. This proposal is based on a layered architecture pattern, with clearly deﬁned responsibilities providing a strong reference model, to improve the maintainability and reuse for data stream processing systems. In order to evaluate the proposed architecture and its framework, a case study is used in which two probabilistic algorithms are applied: the HyperLogLog and the Count-Min Sketch.
Unidade Acadêmica:	Faculdade de Tecnologia (FT) Departamento de Engenharia Elétrica (FT ENE)
Informações adicionais:	Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2015.
Programa de pós-graduação:	Programa de Pós-Graduação em Engenharia Elétrica
Licença:	A concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.
DOI:	http://dx.doi.org/10.26512/2015.05.D.20422
Aparece nas coleções:	Teses, dissertações e produtos pós-doutorado

Mostrar registro completo do item Visualizar estatísticas