程显峰:实时数据中的各种变化

原创
数据库
说到实时数据,最先想到的就是股市,数据是有时效性的,也是有半衰期的,随着大数据的到来,数据的时效性越来越短,上一秒的数据也许下一秒就已经作废了。

  2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会

 

2013大数据全球技术峰会专题

说到实时数据,***想到的就是股市,数据是有时效性的,也是有半衰期的,随着大数据的到来,数据的时效性越来越短,上一秒的数据也许下一秒就已经作废了。

实时数据的特性之一就是要求非常低的延迟,并且高可用,马力足,例如在淘宝双十一的时候,那时大量数据被引用,所以更需要我们的"马力够足"。

全面评价实时系统是什么呢?***就是自动化的要求,第二则是运营维护的成本要足够的低,我们以前总是考虑前期投入,而不考虑后期维护,而实时系统的后期维护成本要远远大于你的前期投入。其次是没有废弃的系统。

如何细化指标

从管理学的角度来说,若是指标不能够度量,那么是不可以实施的。我们从时间的角度来说,时间是容易理解的,没有人会质疑一秒钟它的含义,时间是容易测量的,并且时间是没有歧义的。若是用时间来衡量,那么时间究竟浪费在哪里呢?

[[71763]]

时间是浪费在写代码上吗?其实并非如此,大部分时间其实都是在处理上线部署,上线这一步骤非常复杂,我们不知道哪一部分会出现问题,很多人在上线前还会写上线计划,这就浪费了好几天,上线过程又需好几天。调试bug,我们要处理很多未知的bug。还有一部分就是浪费在沟通协调上,因为60%的程序人员都把时间浪费在开会上。

那么关键衡量指标是什么样的呢?若是用时间的维度去衡量,那么你要在意你回滚的时间是多久了,其次就是定位bug的时间,隔离系统的时间,有些人定位了bug后但是无法预估隔离系统的时间。

[[71764]]

技术能带来哪些改进

监控和性能分析;自动化;基础设施;调试困难;DevOps。但是与此同时技术所带来负面影响。有句格言是这么说的move fast and break things,可以说成你若是想用新技术,你就要面临新技术带来的挑战,并且新的技术你会抛弃很多很多你认为对的东西,也可以说是你的习惯。然而我们决策大部分不是依赖于思考而是习惯,对于开发者他有他的代码风格,上线操作风格,调试手法等。

所以我们需要一个组织的习惯,对于一个组织来讲是要有基础的协作规范的,要泯灭个性的,并且强调细节上的一致(这就好比饭桌上的旋转玻璃)。所以这时就需要我们开始转型,这时会出现各种的不适应,所以需要配合和练习,虽然这一过程是非常非常的漫长和耗力。

以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。

责任编辑:张伟 来源: 51CTO
相关推荐

2013-03-14 10:08:00

程显峰敏捷开发

2012-11-27 09:54:57

简历创业项目

2012-12-27 14:04:51

2012-12-31 14:19:18

程序应届毕业生

2015-04-10 19:44:58

APM

2020-04-28 11:04:51

数据架构互联网Flink

2014-10-14 10:16:54

2022-09-22 10:53:38

实时数据ML 模型

2011-04-14 10:36:36

2014-11-13 12:38:36

环信

2021-07-22 18:29:58

AI

2020-05-29 17:10:15

数据架构数据一切数据体系

2023-07-10 15:43:11

2022-05-23 13:30:48

数据胡实践

2009-05-14 10:02:59

实时数据SQL Server商业智能

2011-06-07 17:01:44

2021-10-12 11:21:09

物联网智慧城市IoT

2022-03-10 11:38:06

数据管理数据

2022-03-16 10:20:57

数据智慧城市传感器

2019-08-19 14:24:39

数据分析Spark操作
点赞
收藏

51CTO技术栈公众号