Por muito tempo, as soluções tradicionais de TI lideram e conseguiram lidar com os dados que estavam sendo gerados. Recentemente, com a criação de novas tecnologias, novos dispositivos e novas redes sociais, a quantidade de dados que são gerados diariamente aumentam cada vez mais tanto em volume como também em variedade.
Com isso, um novo conceito surgiu: Big Data. Em termos simples, Big Data são dados tão grandes e complexos, que as soluções tradicionais não dão mais conta de ingerir, processar e consumir. Para resolver essa complexidade, a computação em nuvem surgiu para levar velocidade, elasticidade, escalabilidade e segurança para as novas soluções.
Hoje, a Amazon Web Services é a maior provedora de serviços em nuvem do mundo, com milhares de empresas utilizando e usufruindo dos mais de 200 serviços disponíveis no catálogo. A computação em nuvem é a possibilidade de adquirir, sob demanda, recursos de computação através de web services, ou seja, através da internet.
Entenda como a análise de dados pode se beneficiar da nuvem AWS.
Benefícios da nuvem AWS
As soluções oferecidas pela AWS abrangem a área de computação, banco de dados, networking, segurança, DevOps, e muito mais. Com um pagamento sob demanda, é possível lançar recursos computacionais em cerca de alguns minutos e pagar somente por aquilo que for utilizado.
Além desses benefícios, a AWS também oferece:
Facilidade de uso – Através da interface gráfica, linha de comando ou linguagens de programação conhecidas do mercado, é possível acessar e utilizar serviços sob demanda.
Flexibilidade – a AWS permite que você selecione, por exemplo, qual sistema operacional gostaria de utilizar, qual banco de dados, qual plataforma de aplicação, entre outros.
Economia – pagando somente por aquilo que utilizar, você não precisa se comprometer ou a longo prazo ou se compromete previamente para utilizar algum serviço
Confiabilidade – a AWS oferece e gerencia uma infraestrutura mundial segura, escalável e moderna.
Escalabilidade – os seus aplicativos, através do Auto Scaling e Load Balancer, podem ser expandidos ou reduzidos com base na demanda.
Segurança – a AWS aplica as melhores práticas do mercado no quesito segurança em todos os seus serviços.
Com todos esses benefícios em mãos é possível, agora, escalar suas soluções de dados para níveis de altíssimos padrões.
Mas como posso fazer isso? Por onde começar?
Análise de dados na AWS
Quando falamos sobre análise de dados, normalmente surge uma dúvida: qual o processo padrão? Por onde eu começo? Onde eu termino?
Antes de entendermos as soluções de dados que a AWS oferece, é muito importante a visão geral do pipeline de dados, ou esteira de dados.
Um pipeline de dados é composto por: ingestão, armazenamento, processamento e visualização dos dados. Nem sempre, no entanto, a visualização de dados é necessária, na verdade, o objetivo final é sempre mesmo: insights. Os insights permitem responder perguntas de negócio, melhorar as vendas de uma empresa comercial, oferecer produtos mais adequados para os seus clientes, entre muitos outros benefícios.
Com esse pipeline bem definido, conseguimos, agora, compreender como a AWS consegue nos ajudar em cada uma dessas fases:
Ingestão: a ingestão dos dados é o processo de buscar dados em uma fonte e armazená-los em outra. No entanto, soluções tradicionais, como servidores físicos em data centers, podem trazer complicações como custo, baixo desempenho e limitação de recursos. A AWS oferece uma família completa de serviços que podem te auxiliar a fazer ingestão de bancos comerciais, SAP, CRM, ERP, entre outros. (Link para página de solução de dados da datarain).
Com os serviços AWS Kinesis Family, é possível fazer a ingestão de dados de diversas fontes, de diversos tipos de dados, em tempo real ou quase em tempo em real. Com o Database Migration Service (DMS) você poderá migrar seu banco de dados para a nuvem AWS com algumas configurações de forma rápida e fácil.
Armazenamento: O Amazon S3 oferece armazenamento virtualmente ilimitado que é perfeito para a grande quantidade e variade de dados que estão sendo gerados atualmente. Com o Amazon S3, você poderá se beneficiar de uma solução barata, fácil e escalável para o armazenamento de todos os seus dados.
Processamento: os dados, no entanto, muitas vezes podem ser armazenados sem nenhum tipo de transformação ou tratamento. Com o processamento de dados através do AWS Glue, você terá uma ferramenta de ETL e de catálogo de dados completa e serveless.
Insights: por fim, você poderá chegar a insights através de uma plataforma de BI, como o Amazon QuickSight, para visualizar os seus dados e responder perguntas de negócio de forma simples e rápida. Como também poderá criar modelos de Inteligência Artificial e de Machine Learning através do AWS for IA/ML.
Comece já a utilizar a nuvem AWS e se beneficie de uma plataforma que tem como objetivo ajudar você a resolver os problemas do seu negócio.
Por Thais Lino, Data Solutions Architect Lead na dataRain
