IDC预测:
2013~2017存储的爆发式增长,其中Tape/Disk硬件存储增长约3B$,而软件存储单独会增长2B$,与云相关的软硬件存储和存储服务会增长6B$。
软件储存优势:
一.扩展性和可维护性
1.横向扩展架构:可以扩展集群从一个节点到数千个节点
2.热升级或者阶段式升级:可以随时增减硬盘或节点,不影响应用的持续
二.丰富的接口支持
1.支持S3和Swift API的对象存储接口
2.RESTful API:使用标准的RESTful API管理集群和对象存储功能
3.支持块存储接口
4.支持Posix文件系统接口
三.可靠性和可用性
1.动态块resizing:以最小的downtime来扩展或者缩减块设备大小。
2.跨节点的Striping,支持Erasure coding,replication,分别提供低成本,高性能数据持久化方案。
3.存储规则:根据需求配置数据的SLA规则,性能需求,失效域需求。
4.数据的存放:使用CRUSH算法允许客户端计算数据的存储位置,而不需要查表,提升性能。
5.自动failover:防止服务器或者磁盘的失效影响数据的完整性、可用性和性能。
四.性能
1.Copy-on-write cloning:快速提供虚拟机镜像
2.客户端的内存cache:客户端支持将数据cache到内存中,加速客户端的访问。
3.增强数据IO的并行性:以client-cluster的模式替代client-one server模式,增加IO的并行性。
4.Cache tiering:将热数据提升到由快速ssd组成的cache层。
5.Flash journal:通过将数据组织成journal,增强数据的写性能。
6.自定义的条带大小:配置条带的大小,适应于GB的大文件到小图片文件的优化存放
7.Thin provisioning :允许超量分配,节约存储资源
8.日常硬件:基于普通的x86架构
9.异构硬件:新旧硬件平台可以混用
10.Erasure coding:数据持久化的低成本方案
Redhat Ceph分布式存储软件的理念:
CEPH是软件定义存储的产品实现,具有统一的接口和先进的架构
CEPH的开发已历10个春秋,已经成熟!
CEPH技术架构:
CEPH应用场景:
KVM虚拟机中直接使用ceph块设备
操作系统使用Ceph块设备
Ceph与openstack的结合
CEPH对象存储与应用的结合