AWS – Kinesis

• 轻松实时收集、处理和分析流数据
• Kinesis Data Stream: 抓取，处理和存储数据量
• Kinesis Data Firehose: 将数据流加载到AWS数据存储中
• Kinesis Data Analytic: 使用SQL或Apache Flink分析数据流
• Kinesis Video Stream: 抓取，处理和存储视频流

Kinesis Data Stream

• 和Amazon Managed Streaming for Kafka同一个产品线
• 数据持久性可以1天 – 365天
• 一旦数据插入到这里，就无法删除或更改（immutable ）
• 数据按照接收的顺序存储一段时间，并且可以在此期间无限期重播。
• Capacity Mode有Provision Mode和On-demand Mode
• Provision Mode是你知道你有多少用量了，然后购买，根据每个Shard每小时来付费，每个shard吞吐量最高，进：1mb/s或1000条信息每秒， 出：2mb/s
• On-demand Mode是你不知道自己的用量，默认吞吐量4mb/s或每秒4000条数据，付费模式：按每小时流和按 GB 数据输入/输出付费

• 以下可以获取数据的数据源

Kinesis Data Stream Security

• 可以使用KMS加密
• HTTPS in flight加密
• 使用VPC Endpoint在同一个VPC内进行访问
• API call将会被CloudTrail记录

Kinesis Data Firehose

• Kinesis Data Firehose 不存储数据。它将数据传输到其他存储服务，例如Amazon S3或Amazon Redshift。
• transform数据或compress数据，然后把数据存入aws服务或第三方服务
• 和Elastic公司的Logstash同一个产品线