腾讯大数据平台的秘密——多维度交叉分析

数据库
腾讯数据平台的思路,早已熟悉,这次算复习,再次感受腾讯数据平台的成长,技术性已经是领先水平,在产品与业务发展的指导与支撑并转化为生产力方面,仍有非常大的想象空间。

当天几家公司的大数据应用,相对局限于个性化推荐,例如广告精准投放、推荐商品、推荐用户、推荐应用等等。或许,国内的大数据应用由于商业公司功利性的限制,当天几家演讲的公司,大数据的商业化目标明确,而精准个性推荐是其中最有效的手段。

腾讯大数据现状

IBM将“大数据”理念定义为4个V:大量化(Volume)、多样化(Variety)、快速化(Velocity)以及产生的价值(Value)。我们可以从这几个方面一起看看腾讯大数据现状。

从业务角度

腾讯数据真的够大。腾讯数据平台自研的TDW替换了商业数据库,实现公司级数据集中存储,总记录达到375万亿跳,日接入5千亿条,覆盖移动设备数7.7亿。

从平台角度看

腾讯数据平台从设备8400台,单集群5600台,总存储100PB+;日新增数据200TB+,月数据增长率10%,日均JOB数100万,日均计算量5PB,量够大,速度也够快。

从用户角度看

这里的用户,指的是腾讯内部员工。腾讯员工2万多人,腾讯数据门户的月活跃是2500左右,也就是说访问腾讯数据门户的人占比公司10%+;每月处理数据提取分析的任务数是1万个,如果访问者每人都会提数据任务,平均就是一个人提4个左右的分析提取任务;用户画像分析任务为1.2万,可以看出腾讯对用户画像的重视程度。

腾讯大数据的多样性

下面的图,腾讯数据平台已经接入100多个产品的各类数据,例如:用户行为、账号属性、收入数据等等。

 

腾讯数据平台产品架构

 

 

腾讯数据平台从五个方面进行产品设计,分别是:数据管理、数据监控、数据分析、数据可视化、数据挖掘。

这也是我曾经在腾讯、YY语做过的数据产品运营工作的主线,五个方面分别通过各种数据产品落地,为公司内部产品策划、产品运营、产品营收、客服、财务等提供数据支撑。

腾讯业务平台与数据服务

下面这张图非常清晰的阐明了腾讯数据平台的数据服务与业务平台的关系。数据服务的核心是分布式存储、实时计算(TRC)、离线计算(TDW),以数据产品的方式对外呈现于应用,业务平台则考虑用户接入、业务逻辑、关系型存储的工作。

 

其中,对于海量数据来说,至关重要的是 Gaia高效的资源调度,提供高并发的任务调度与资源管理,为实现秒级的数据监控与实时运算提供保证。

Gaia高效的资源调度

 

腾讯大数据应用成效

数据成为生产力,支持海量用户产品发展。

 

腾讯广点通,精准广告投放,

 

腾讯信鸽——大数据精准移动推送

用户留存率提升100%,用户活跃提升100%。

 

给腾讯信鸽打个广告,网址是:http://xg.qq.com/

[[111597]]

游戏模型,助力手游精细化运营

自助分析

自助报表

[[111598]]

黄金眼——快速报表 

用户画像

原文链接:http://www.36dsj.com/archives/7208

责任编辑:彭凡 来源: 36大数据
相关推荐

2017-05-26 15:57:54

深度学习人工智能

2023-02-22 15:43:51

新华三

2017-07-22 00:41:27

大数据数据存储

2017-09-26 09:23:07

大数据多维实践

2013-01-28 14:59:27

2015-11-04 14:45:24

数据分析大数据创业

2021-01-22 18:25:42

政务数据安全

2017-12-13 17:30:43

腾讯慧聚

2013-03-01 10:45:36

Nike大数据

2021-10-14 08:40:58

前端技术数据可视化

2017-09-27 10:09:15

2011-08-12 11:14:42

大数据数据分析平台架构

2013-01-18 10:04:33

大数据分析

2013-08-12 13:05:58

腾讯移动分析大数据

2020-02-12 17:14:01

Python数据分析疫情

2014-04-04 10:53:04

2013-07-11 16:23:33

AdTime大数据营销

2015-09-16 10:38:48

大数据业务拓展

2017-02-28 21:23:34

大数据采集架构分析
点赞
收藏

51CTO技术栈公众号