Amazon Kinesis
Tags: cloud, aws, devops, security
Published: 2023-05-19 13:59:55

**Anotações sobre o Amazon Kinesis para ajudar na preparação das certificações AWS.**

Até o momento as anotações são para as certificações abaixo:

![Image description](https://dev-to-uploads.s3.amazonaws.com/uploads/articles/se0sqtegn424nami6rz8.png)

- [Link oficial](https://aws.amazon.com/pt/kinesis/)

##**Definição do fornecedor**
_Facilita a coleta, o processamento e a análise de dados de streaming em tempo real, permitindo que você obtenha insights oportunos e reaja rapidamente às novas informações._

---


##**Anotações gerais**

- Real time big data streaming
- Streaming Data
- Producers (Kinesis Agent, AWS SDK, Kinesis Producer Library (KLP))
- Stream Store
- Consumer (Kinesis Data Analytics, Kinesis Data Firehose, Kinesis Client Library(KCL))

---
##**Monitorar o Amazon Kinesis Data Streams Service com o Amazon CloudWatch**
[Documentação oficial](https://docs.aws.amazon.com/pt_br/streams/latest/dev/monitoring-with-cloudwatch.html)

- **Basic (stream-level) - stream-level** são enviados automaticamente a cada minuto, sem custo adicional.
- **Enhanced (shard-level) - shard-level** são enviados a cada minuto por um custo adicional. Para obter esse nível de dados, você precisa habilitá-lo especificamente para o stream usando o **_EnableEnhancedMonitoring _**operação.


![Image description](https://dev-to-uploads.s3.amazonaws.com/uploads/articles/t780cqe4tvj7bdcaozdo.png)


---
##**Kinesis Client Library(KCL)**
[Documentação oficial](https://docs.aws.amazon.com/pt_br/streams/latest/dev/controlling-access.html)

_A KCL ajuda você a consumir e processar dados de um stream de dados do Kinesis cuidando de muitas das tarefas complexas associadas à computação distribuída._

- Se você estiver desenvolvendo um aplicativo usando a KCL, sua Policy deve incluir permissões para acessar o **Amazon DynamoDB e Amazon CloudWatch**
- A KCL usa o DynamoDB para rastrear as informações de estado do aplicativo e CloudWatch para enviar métricas da KCL para CloudWatchem seu nome.

**Referências**
- [O que é a biblioteca de cliente Kinesis?](https://docs.aws.amazon.com/pt_br/streams/latest/dev/shared-throughput-kcl-consumers.html#shared-throughput-kcl-consumers-overview)


---
##**Kinesis Data Firehose**
[Documentação oficial](https://aws.amazon.com/pt/kinesis/data-firehose/?nc=sn&loc=2&dn=3)

- É um serviço para extrair, transformar e carregar (ETL) que captura, transforma e entrega de forma confiável dados de transmissão para data lakes, armazenamento de dados e serviços analíticos.
- Entrega o dado do Ponto A ao Ponto B.
- **Dados em trânsito não são criptografados automaticamente por padrão**




---

##**Kinesis Data Analytics**
[Documentação oficial](https://aws.amazon.com/pt/kinesis/data-analytics/?nc=sn&loc=2&dn=4)

- É a maneira mais fácil de transformar e analisar dados de transmissão em tempo real com o Apache Flink.
- 

---
##**Kinesis Data Streams**
[Documentação oficial](https://aws.amazon.com/pt/kinesis/data-streams/?nc=sn&loc=2&dn=2)

- É um serviço sem servidor que torna fácil a captura, o processamento e o armazenamento de transmissões de dados em qualquer escala.
- Permite consultar a evolução dos dados.
- Permite mover dados do on-premises já criptografados com a API `StartStreamEncryption`

---
##**Kinesis Video Streams**
[Documentação oficial](https://aws.amazon.com/pt/kinesis/video-streams/?nc=sn&loc=2&dn=1&amazon-kinesis-video-streams-resources-blog.sort-by=item.additionalFields.createdDate&amazon-kinesis-video-streams-resources-blog.sort-order=desc)

- Facilita o streaming seguro de vídeos de dispositivos conectados para a AWS, podendo ser usados para análises, machine learning (ML), reprodução e outros processamentos.