Google利用Megastore解决NoSQL、SQL融合难题

数据库
如何将NoSQL与SQL进行融合是Google最近研究的方向。彻底抛弃SQL本是Google的理想,现在看来还是要借助Megastore这个工具。

实际上,作为一个建立于Bigtable之上的分布式存储系统,Megastore已经被谷歌使用了数年。Google在2008年的SIGMOD大会上就已经开始讨论它了,但相关技术信息直到最近才被公布,在上个月举行的创新数据系统研讨会上(CIDR),Google公开了其Megastore分布式存储技术的白皮书。

论文地址下载:http://www.cidrdb.org/cidr2011/Papers/CIDR11_Paper32.pdf

在该白皮书上,Google对于Megastore的功能描述是——高扩展性并具有高密度交互的可用存储服务,其在Google的基础系统之中,其主要用来解决Appengine的数据存储问题。

Megastore融合NoSQL和SQL

提到Google的Bigtable,必然会提到NoSQL,对于广大的NoSQL研发人员而言,当前最核心问题正纠结于如何将NoSQL与传统的关系型数据库融合,而Megastore就是专门用来解决这一问题的。

Megastore用一种新颖的方式把NoSQL数据存储的可扩展性和传统的关系型数据库融合在一起,并为一致性和高可用性提供了强有力的保证。Google在该论文中指出。目前提供的数据完全按照ACID语义序列进行高密度的排序。

Google重点谈到了现今的Web应用,白皮书中指出,所有的Web应用都面临以下技术瓶颈:可扩展性、快速的争取并发展用户、延迟反应、用户数据(云环境下要保证任何时候都可用)。

“但实际上,这些需求是冲突的”,白皮书指出。“关系数据库提供了一组丰富且方便构建应用程序的功能,但是它们很难扩展到数以亿计的用户。非关系数据库则有高度的可扩展性。例如谷歌的Bigtable,Apache Hadoop的HBase,或者Facebook的cassandra。但其API有限且松散一致性模型不利于开发应用。在远程数据中心之间传送数据,同时保证低延迟是具有挑战性的。要注意保证所复制数据的一致性,尤其是传送过程中的错误。”

关系型数据库在Google没有未来

传统的关系数据库管理系统已经被Google所否定,比如MySQL。在该文件中指出,“昂贵的商业数据库系统,如Oracle数据库,会大幅加大用户在云中大幅部署的总成本”。

Megastore的设计原理在于,能够在广域网中同步复制文件写操作、可接受的延时、支持跨数据中心的故障迁移。在两个可扩展的非关系数据库的中间地带,比一个传统的关系数据库更为方便。

Google在该论文中还透露,目前Google有100多个生产应用Megastore作为存储服务,而这些应用的可靠度在99.99%到100%之间。根据数据中心的距离和写入数据的大小,应用程序的平均读取延迟在万分之一毫秒之内,平均写入延迟在100至400毫秒之间。

NoSQL专家——ACID令人印象深刻

[[18842]]

曾经关注了Megastore多年,并不停更新关于Megastore的技术信息的Amazon的技术大牛——James Hamilton日前在其博客中公开表示,很钦佩该技术,他在博客中写道:“Megastore一贯支持阅读和完整更新ACID语义使人印象深刻,即便不能够更新比'每秒数'限制更多的实体组限制。”

CSDN观察:实际上,Megastore已经是Google过时的存储技术,但聊胜于无,Google选择在此时将此论文公开,对于NoSQL的整体技术进步无疑还是有好处的。

Google目前正在使用的存储系统是Spanner架构,在Google的技术规划中,Spanner能够控制一百万到一千万台服务器,包括10万亿(1013)目录和一千万亿(1018)字节的存储空间。而这所有一切分散在世界各地的数据中心,而Spanner的最强大之处在于能够为50微妙之内的数据传递提供通道——即便这两个数据中心分布于地球的两端。

原文链接:http://www.informationweek.com/news/internet/google/showArticle.jhtml?articleID=229205494&cid=RSSfeed_IWK_All

【编辑推荐】

  1. MongoDB CEO谈NoSQL的大数据量处理能力
  2. 抛弃关系数据库 PHP程序员应了解MongoDB的五件事
  3. MongoDB,无模式文档型数据库简介
  4. 关系数据库的末日是否已经来临
  5. 扔掉沉没成本 尝试关系数据库替代品OODBMS  
责任编辑:彭凡 来源: CSDN
相关推荐

2011-05-13 09:46:20

MySQLNoSQL

2018-05-04 13:51:14

Facebookhashtag数据集

2022-01-20 15:23:23

区块链技术数字资产

2013-11-07 09:31:22

2020-08-24 15:46:02

大数据气候数字原料

2013-03-21 09:30:46

物联网云计算

2022-08-31 10:01:38

超聚变超融合

2023-10-09 08:07:37

快排快速排序合并排序

2016-07-15 11:22:53

2020-07-31 08:13:11

人工智能技术垃圾

2018-08-24 10:10:28

AI

2011-04-06 15:44:02

SQLNOSQL思维转变

2022-02-15 15:36:24

区块链仓储技术

2014-03-11 11:21:23

2013-11-13 14:33:10

hadoop分布式系统

2015-04-03 09:41:17

运维工具政府网站SaaS应用

2018-05-17 15:55:30

2019-08-15 09:28:32

SQLNoSQLCPU

2023-03-27 16:25:56

SQLNoSQL

2015-10-22 11:04:43

sqlmongodb信息比较
点赞
收藏

51CTO技术栈公众号