AWS存储服务介绍

S3 (Simple Storage Service)
参考文件：https://aws.amazon.com/cn/s3/storage-classes/#:~:text=S3%20One%20Zone%2DIA%20is,less%20than%20S3%20Standard%2DIA.
【S3 – Standard】
– 无需部署bucket，存储文件的方法就只是使用SDK通过http的方式上传文件
– 创建bucket无需set固定的容量，费用是用多少GB算多少钱
– 单个文件上传上限是5GB
– 可以通过lifecycle把太久无访问的文件移动至不同等级的S3存储模式，以节省费用
– 可以文件versioning功能，可以把不小心覆盖的文件，rollback回来
– 可以进行cross regional replication 以达到异地容灾，但是必须开启文件versioning功能

【S3 – Intelligent-Tiering】
– 智能化把文件进行分层

【S3 – OneZone IA / Standard IA】
– IA是Infrequency Access就是不常访问的文件，就会放在这一层，如果突然访问的话就会马上访问得到，但是存储费用就比S3 standard便宜一点
– OneZoneIA和Standard IA的区别是Standard IA是存在一个region内 multi AZ所以也是高可用的，但是存储费用就比OneZoneIA高

【S3 – Glacier Flexible Retrieval / Glacier Deep Archive】
– Glacier Deep Archive 在全部最便宜的，但是把文件调出来也是需要花费最久时间的
– 这两个储存层无法达到毫秒级的访问，所以只建议归档储存而已

【S3总结】
S3一般是用于常用数据的存储，Glacier一般是用于Log，账单这些几乎不会再次使用但是出于种种原因又不能删掉的数据。做一个形象的比喻，使用Glacier感觉就很像我们把一些资料存在档案馆，平时由档案馆代为保管，必要的时候再取出来，所以存在Glacier的数据我们称之为Archive。这两种存储的durability都非常高，从用户角度来说，我觉得区别主要在于accessibility吧。

【S3 – Select & Glacier Select】
无需自己预备Application，直接对于S3当中的Excel文件进行SQL的查询

【S3 – Batch Operation】
– 批量执行
– 从一个bucket复制文件到另一个bucket
– 对于未加密的文件进行加密
– 更改ACL & tag
– 从S3 Glacier还原文件

【S3 – Inventory】
– 获取文件的列表

** 能使用Inventory获取文件列表，然后使用select过滤需要操作的文件，最后使用batch operation进行批量执行

【S3 – Storage Lens】
– S3 Storage Lens 是一种管理工具，可以在同一个organization地下多个账号同时分析。
– 可以帮助您更好地理解和优化您的存储使用情况。它提供了存储桶级别的分析和建议，帮助您了解存储使用情况、访问模式、数据访问性能等方面的情况
– 它就像是一把放大镜，可以让您更清晰地看到您在 S3 存储桶中的数据情况，帮助您更有效地管理和优化您的存储资源。

【S3 – Storage Class Analysis】
– 帮你智能分析几时需要更改Storage Class来存
– 报告是每日更新
– 需要等24 – 48小时才能看到数据分析
EBS (Elastic Block Storage)
– 只能绑定同样AZ的EC2，无法跨region或跨AZ
– 链接原理是在同一个AZ使用网络把EBS和EC2 attach
– 如果需要跨AZ的话就需要EBS snapshot备份，然后在其他AZ使用这备份创建EBS
– 部署方式只能通过Attach和mouting的方式
– 容灾方面比较差因为无法跨AZ
– ECS类型gp2 / gp3 是SSD适合做boot disk
– ECS类型io1 / io2 是SSD适合做数据库但也可以boot disk，高IO需求
– ECS类型st1 / sc1 是HDD适合存储log，低IO需求，无法做boot disk，最便宜的是sc1
– 一个EBS只能绑定一个EC2，但使用io1和io2的款式就能使用Multi-Attach达到绑定多台EC2, 最多绑定16台EC2
EFS (Elastic File Service)
– EFS服务于content management, web serving, data sharing 和 worpress
– 可以跨AZ绑定EC2

– 一个EFS最高可同时绑定1000台EC2
– 每台EC2最多同时可以绑定100个EFS
– EFS的价钱的是EBS的三倍(GP2规格)
– 按perGB使用计费，无需预定购买特定容量
– 只能用于Linux系统
– 使用Security Group控制链接规则
– EFS IA可以更加省钱，可以自定义设定超过N天未访问的文件就会被归档至EFS IA达到省钱的目的，如果再次被访问该文件就会再次被调回至EFS Standard当中
FSX
– 高吞吐量的IO服务
– 适合适用于：机器学习，视频渲染，高性能计算
– 可以提供 sub-millisecond的延迟，上百万的IOPS，上百G的带宽
EC2 Instance Store
– 物理上和EC2直接链接，所以访问的数据极快
– 缺点是无法做永久存储使用，如果EC2 stop或terminate 存储的数据就会销毁
– 使用方式只有在创建EC2的时候选择SSD种类的instance type才有，无法后期添加
– 由于无法持久存储所以只能作为缓冲区、缓存、临时数据和其他临时内容

No results