Mesos计算框架一个集群管理器,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、MPI、Hypertable、Spark。使用ZooKeeper实现容错复制,使用Linux Containers来隔离任务,支持多种资源计划分配。

头条推荐

重新认识Mesos的设计架构

esos中包含四类主要的服务,它们分别是Mesos Master,Mesos Slave,SchedulerProcess和ExecutorProcess,它们之间通过Protocal Buffer消息进行通信,每种服务内部注册了若干种Protocal Buffer消息处理器,一旦收到某种消息,则会调用相应的消息处理器进行处理。……>>详细

Apache Mesos总体架构

1. 前言

同其他大部分分布式系统一样,Apache Mesos为了简化设计,也是采用了master/slave结构,为了解决master单点故障,将master做得尽可能地轻量级,其上面所有的元数 据可以通过各个slave重新注册而进行重构,故很容易通过zookeeper解决该单点故障问题。

什么是apache mesos?参考:《统一资源管理与调度平台(系统)介绍》,本文分析基于Mesos SVN Revision 1327410)

2. Apache mesos中的基本术语解释

阅读全文

Apache Mesos底层基础库

1. Protocol buffer

Protocal Buffer是google开源的用于数据交换的库,常用于跨语言的数据访问,担任的角色一般为对象的序列化/反序列化。 另一个与之类似的开源软件是facebook开源的thrift,它们两个最大区别是thrift提供了自动生成RPC的功能而Protocal Buffer需要自己实现,但Protocal Buffer的一个优势是其序列化/反序列化非常高效。

2. Libprocess

libprocess是采用C/C++编写的高效消息传递编程模型(基于消息传递的网络通信模型,而不是RPC),由伯克利开源。 其整个实现非常简单,包括最基本的消息发送和接收等。

阅读全文

Apache Mesos模块间通信架构

1.  介绍

Mesos主要由四种组件组成,分别是mesos-master,mesos-save,scheduler和Executor,各个组件之间采用了基于protocal buffer的actor model进行通信(采用开源库libprocess)。也就是说,各个模块分别是一个server(实际上是socket server),分别监听来自其他模块的消息,一旦收到某个消息后,便会调用相应的消息处理函数进行处理。

什么是apache mesos?参考:《统一资源管理与调度平台(系统)介绍》,本文分析基于Mesos SVN Revision 1327410).

2. 通信框架概述

阅读全文

Apache Mesos调度机制

 

1. 前言

调度器是Mesos的核心部件,主要负责将各个slave上资源分配给各个framework,常见的调度机制有FIFO,Fair Scheduler,Capacity Scheduler,Quincy,Condor等。Mesos为了支持多framework接入,采用了双层调度机制,首先,由mesos中的 allocator将资源分配给framework,然后又由framework自己的调度器将资源分配给任务。本文重点介绍mesos中的 allocator模块。

什么是apache mesos?参考:《统一资源管理与调度平台(系统)介绍》,本文分析基于Mesos SVN Revision 1327410)

阅读全文

Apache Mesos的任务状态更新过程分析

Apache Mesos的任务状态更新过程分析,见下图:

原文链接:http://dongxicheng.org/apache-mesos/apache-mesos-task-status-update/

【编辑推荐】

阅读全文

Apache Mesos的任务分配过程分析

Apache Mesos的任务分配过程分析,见下图:

步骤1 当出现以下几种事件中的一种时,会触发资源分配行为:新框架注册、框架注销、增加节点、出现空闲资源等;

步骤2 Mesos Master中的Allocator模块为某个框架分配资源,并将资源封装到ResourceOffersMessage(Protocal Buffer Message)中,通过网络传输给SchedulerProcess;

阅读全文

Mesos的Framework与Executor注册过程

本文以Hadoop框架为例,介绍了framework与executor向mesos注册过程。

1. Framework注册过程

(1) JobTracker启动时,会调用MesosScheduler的start()方法

(2) MesosScheduler的start()方法创建一个MesosSchedulerDriver对象,并将自己作为参数传入该对象。

阅读全文

相关内容

爱奇艺许立剑:分布式计算Me
爱奇艺高级工程师许立剑分享分布式计算Mesos框架和应用,中科院软件所工程…
运行在YARN上的计算框架
随着YARN的成熟和稳定(2013年8月25日已经发布beta版),必将形成一个以YAR…
Jeff Markham:Hadoop YARN
2013 Hadoop中国技术峰会上,51CTO记者有幸采访到Hortonworks CTO,Jeff Ma…

投    票

专题推荐

Spark是一个高效的分布式计算系统,发源于美国加州大学伯克利分校AMPLab的集群计算平台。 相比Hadoop MapRe
Spark会是大数据领域的下一
Spark是一个高效的分布式计算系统,发源于美国加州大学伯克利分校AMPLab的集群...
PM2.5肆虐着中华大地,令每个中国人呼吸困难。大数据的到来,让我们的环境治理与气象预报有了更有力的工具
气象大数据吹开雾霾 自由呼
PM2.5肆虐着中华大地,令每个中国人呼吸困难。大数据的到来,让我们的环境治理...
金融大数据将给中国银行带来极大的转变。它将让银行从被动服务客户,转向更加主动的方式。主动地去探索和挖
金融大数据到来,银行你准备
金融大数据将给中国银行带来极大的转变。它将让银行从被动服务客户,转向更加主...
借助Google的三大论文,Hadoop打开了低成本海量数据处理之门;同时,借助了开源运动,Hadoop生态圈得以迅速
大象腾飞:Hadoop开源工具盘
借助Google的三大论文,Hadoop打开了低成本海量数据处理之门;同时,借助了开源...

一周排行

留言评论