Spark多语言编程实践

数据库 Spark
了解了Spark编程的基本概念,可以看出Spark编程都是围绕着RDD进行的。关于编程的基础知识,可以参看spark编程基础。

Spark目前支持scala、python、JAVA编程。

作为Spark的原生语言,scala是开发Spark应用程序的***,其优雅简洁的代码,令开发过mapreduce代码的码农感觉象是上了天堂。

Spark提供了python的编程模型PySpark,使得python可以作为Spark开发语言之一。尽管现在PySpark还不能支持所有的Spark API,但是我们相信以后的支持度会越来越高;同时作为NOSQL的主力开发工具之一的python,一旦将NOSQL和Spark结合后,我们可以想象以后的发展前景。

至于Java,时间和精力允许的情况下再选吧。不过作为作为长期坐着写代码的码农,应该积极参加登山、会友之类的活动,为身体着想,还是不要选JAVA来编写Spark程序了。

废话了一堆,还是进行Spark的编程实践。

1:开发环境

主机wyy(192.168.100.111),内存16G

hadoop2.2.0伪分布式部署

Spark0.9.0 Standalone单机部署

python2.7.4

scala2.10.3

IDE使用IntelliJ IDEA 13.1

2:实验项目

2.1:sogou日志数据分析

实验数据来源:sogou精简版数据下载地址

数据格式说明:

访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击的URL

其中,用户ID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值,即同一次使用浏览器输入的不同查询对应同一个用户ID。

以上数据格式是官方说明,实际上该数据集中排名和顺序号之间不是\t分割,而是空格分割。

A:用户在00:00:00到12:00:00之间的查询数

B:搜索结果排名第?,但是点击次序排在第二的数据有多少?

C:一个session内查询次数最多的用户的session与相应的查询次数

2.2:Spark steaming实验

A:自己写一个能随机产生A,B,C,D,E,F,G的程序,每一秒钟输出一个字母。完成以下工作:

B:每隔20秒计算出出现次数最多字母及出现次数

C:每隔10秒计算出前20秒出现次数最多的字母及次数

3:多语言编程实现

Spark的多语言编程实践之scala实现

Spark的多语言编程实践之python实现

责任编辑:彭凡 来源: 网易博客
相关推荐

2021-09-07 10:17:35

iOS多语言适配设计

2019-12-05 16:00:15

Vim插件编程文本编辑器

2012-04-19 11:40:21

Titanium

2011-08-05 17:54:33

Cocoa Touch 多语言

2009-08-25 10:44:50

C#实现多语言

2014-07-09 09:20:06

WPFWPF应用

2022-08-09 07:22:15

语言数据库程序

2023-08-04 10:18:15

2021-06-29 21:48:32

开源语言架构

2009-08-03 17:33:01

ASP.NET多语言支

2009-07-17 10:02:29

WPF程序多语言支持

2021-07-24 11:41:42

前端开发技术

2020-04-14 09:50:02

2010-11-19 09:25:06

to_dataOracle

2009-08-31 17:13:09

2019-08-22 10:20:41

Ubuntu设置语言

2022-10-27 22:11:40

react扩展库语言

2009-08-21 18:46:30

下载Server 20

2010-01-05 11:18:38

.NET 4Visual StudJVM

2009-06-15 15:33:13

ScalaTwitter
点赞
收藏

51CTO技术栈公众号