koorio.com
海量文库 文档专家
当前位置:首页 >> 计算机软件及应用 >>

storm原理与实战_图文

--数据中心

?

?
?

日志解析(推荐的日志解析场景详解) 网站指标的实时解析(PV、UV、等) 增量处理
从kafka 读取app 埋点日志 解析日志, 转换为用 户访问房 详情信息

Mongo 保存

用户活跃 更新

通知推荐 引擎重新 推荐

有哪些问题?

流式计 算

? 日志解析 ? 增量更新

Web服 务

? http请求
? 页面交互

定时调 度服务

? 定时任务 ? 监控

?

?

Storm是一个分布式的、可靠的、容错的数据流处 理系统 Storm与传统关系型数据库
传统关系型数据库是先存后计算,而storm则是先算后存,甚至 不存 传统关系型数据库很难部署实时计算,只能部署定时任务统计分 析窗口数据 关系型数据库重视事务,并发控制,相对来说Storm比较简陋 原理URL:http://www.open-open.com/lib/view/open1430095563146.html

?

? ?

?
? ?

需要implements接口BaseRichSpout 或者 IRichSpout public void open(); // spout初始化 public void close(); // spout结束前的收尾工作 public void nextTuple() // 发射消息 public void ack(); // 消息处理成功后的处理方案 public void fail(); //消息处理失败后的处理方案

?

?
?

需要implements接口BaseBasicBolt 或者IBolt public void execute();// 执行消息处理逻辑 public void declareOutputFields (); // 消息发射 的格式声明

?

The stream is the core abstraction in Storm. A stream is an unbounded sequence of tuples that is processed and created in parallel in a distributed fashion. Streams are defined with a schema that names the fields in the stream's tuples. By default, tuples can contain integers, longs, shorts, bytes, strings, doubles, floats, booleans, and byte arrays. You can also define your own serializers so that custom types can be used natively within tuples.

?

?
? ? ? ? ? ?

Shuffle grouping Fields grouping Partial Key grouping All grouping Global grouping None grouping Direct grouping Local or shuffle grouping

?

http://storm.apache.org/releases/2.0.0SNAPSHOT/Guaranteeing-messageprocessing.html

?

http://storm.apache.org/releases/2.0.0-SNAPSHOT/Understanding-the-parallelism-of-a-Storm-topology.html

?

Storm集群中有两种节点,一种是控制节点(Nimbus节点),另一种是工 作节点(Supervisor节点)。所有Topology任务的 提交必须在Storm客户 端节点上进行(需要配置 storm.yaml文件),由Nimbus节点分配给其他 Supervisor节点进行处理。 Nimbus节点首先将提交的Topology进行分 片,分成一个个的Task,并将Task和Supervisor相关的信息提交到 zookeeper集群上,Supervisor会去zookeeper集群上认领自己的Task, 通知自己的Worker进程进行Task的处理。 和同样是计算框架的MapReduce相比,MapReduce集群上运行的是 Job,而Storm集群上运行的是Topology。但是Job在运行结束之后会自 行结束,Topology却只能被手动的kill掉,否则会一直运行下去 Storm不处理计算结果的保存,这是应用代码需要负责的事情,如果 数据不大,你可以简单地保存在内存里,也可以每次都更新数据库,也 可以采用NoSQL存储。这部分事情完全交给用户。

?

storm使用zookeeper来协调整个集群, 但是要注意的是storm并不用 zookeeper来传递消息。所以zookeeper上的负载是非常低的,单个节 点的zookeeper在大多数情况下 都已经足够了, 但是如果你要部署大一 点的storm集群, 那么你需要的zookeeper也要大一点。关于如何部署 zookeeper,可以看http://zookeeper.apache.org/doc /r3.3.3/zookeeperAdmin.html 部署zookeeper有些需要注意的地方: 1、对zookeeper做好监控非常重要, zookeeper是fail-fast的系统, 只要出现什么错误就会退出, 所以实际场景中要监控,更多细节看 http://zookeeper.apache.org/doc/r3.3.3 /zookeeperAdmin.html#sc_supervision 2、实际场景中要配置一个cron job来压缩zookeeper的数据和业务 日志。zookeeper自己是不会去压缩这些的,所以你如果不设置一个 cron job, 那么你很快就会发现磁盘不够用了,更多细节可以查看 http://zookeeper.apache.org/doc/r3.3.3 /zookeeperAdmin.html#sc_maintenance

?

storm UI 只提供对topology的监控和统计。

?

代码实例:
http://blog.csdn.net/xeseo/article/details/17683049
推荐系统日志解析:git@git.ipo.com:hf-devdata/datacenter-storm.git

?

Storm源码: https://github.com/apache/storm

?

?
? ? ? ? ? ?

?
? ?

Serialization Common patterns Clojure DSL Using non-JVM languages with Storm Distributed RPC Transactional topologies Hooks Metrics State Checkpointing Windowing Blobstore(Distcahce)

? ? ? ? ? ? ? ? ? ? ?

?
? ? ? ?

?

Apache Kafka Integration, New Kafka Consumer Integration Apache HBase Integration Apache HDFS Integration Apache Hive Integration Apache Solr Integration Apache Cassandra Integration JDBC Integration JMS Integration Redis Integration Event Hubs Intergration Elasticsearch Integration MQTT Integration Mongodb Integration OpenTSDB Integration Kinesis Integration Druid Integration Kestrel Integration

?

?
? ?

YARN Integration, YARN Integration via Slider Mesos Integration Docker Integration Kubernetes Integration

?

?

Flux Data Driven Topology Builder SQL

谢谢


推荐相关:

storm原理与实战_图文.ppt

storm原理与实战 - --数据中心 ? ? ? 日志解析(推荐的日志解析场景


浅析Storm流式计算_图文.ppt

浅析Storm流式计算 - LOGO 公开课主题:浅析Storm流式计算 主讲人:肖康 主要内容 Storm简介 Storm原理和架构 Storm实战 小象科技 让你的数据产生价值 ...


storm 实战及实例讲解.doc

/** * 该方法会在 SpoutTracker 类中被调用每调用一次就可以向 storm 集群中...项目11 Storm拓扑实例 79页 2下载券 storm原理与实战 暂无评价 21页 2下载券...


storm技术分享_图文.ppt

storm技术分享_教学案例/设计_教学研究_教育专区。 大数据 ? 巨量资料,


storm培训视频教程 storm入门教程2、Storm工作原理和概....ppt

storm视频教程 storm开发实例 storm入门教程 storm实例教程 storm项目实战 storm安装配置 Storm流计算从入门到精通 技术篇 2、Storm原理和概念详解 讲师:Cloudy(北风...


storm学习_图文.doc

storm学习_体育/运动_生活休闲。学习笔记-Tableau 一、简介 Tableau 帮助人们看到...3.2. 直观的了解原理 感知和认知因素来推动产品的设计。考虑颜色选择时,聘请了...


storm项目实战开发 8、并发度详解、storm案例开发(高并....ppt

storm项目实战开发 8、并发度详解、storm案例开发(高并发运用)_计算机软件及应用_IT/计算机_专业资料。storm项目实战开发 8、并发度详解、storm案例开发(高并发运用)...


Storm基本概念和组件介绍_图文.pdf

Storm基本概念和组件介绍 - 炼数成金《深入理解Storm与大数据实战》... Storm基本概念和组件介绍_IT/计算机_专业资料。炼数成金《深入理解Storm与大数据实战》 ...


清华大学大数据课程第7.2讲 - storm_642701486_图文.ppt

一个应用的spout, bolt, grouping组合 Storm原理和架构 - 架构 ? nimbus:集群...Storm实战 - 集群部署 ? 依赖包 java 6+ python 2.6.6 ...


storm学习视频教程 Storm项目实战开发 5、API简介和sto....ppt

storm学习视频教程 Storm项目实战开发 5、API简介和storm入门案例开发_计算机软件及应用_IT/计算机_专业资料。storm学习视频教程 Storm项目实战开发 5、API简介和storm...


T3-Storm架构与流处理._图文.ppt

分为map阶段reduce阶段,每个阶段中传递的数据单位是kv对 Nimbus是主节点, Supervisor是从节点 Storm执行的是Topology Topology Nimbus Supervisor...


超人学院storm深入浅出_图文.ppt

深入浅出Storm www.crxy.cn Storm简介 Storm是Twitter开源的一个类似于Hadoop ...Storm入门之第五章Bolts 1人阅读 6页 3下载券 storm原理与实战 84人阅读 21...


Storm实时流处理框架PPT演讲_图文.ppt

《Twitter Storm 安装实战》 2.http://linux.chinaunix.net/techdoc/system/2009/11/25/1146071.shtml 《linux ld.so.conf pkgconf》 3.http://blog....


基于storm的实时计算架构_图文.pdf

基于storm的实时计算架构_计算机软件及应用_IT/计算机_专业资料。基于storm的实时计算架构 实时流计算应用开发框架-天罡 关于 □ 孔令西 ? 阿里巴巴数据...


STORM_图文.ppt

STORM_临床医学_医药卫生_专业资料。肝癌术后口服索拉菲尼抗复发研究 STORM: A phase III randomized, double-blind, placebo-controlled trial of adjuvant sorafenib...


storm学习笔记_图文.doc

storm学习笔记_计算机软件及应用_IT/计算机_专业资料。storm学习笔记 Storm 对比 Hadoop 的批处理,Storm 是个实时的、分布式以及具备高容错的计算系统。同 Hadoop 一...


基于Storm的大数据流式计算关键技术研究及应用_图文.pdf

基于Storm的大数据流式计算关键技术研究及应用_电子/电路_工程科技_专业资料。大...8 第2章大数据流式计算基本原理………102.1大数据流式计算概述………...


storm安装以及部署教程_图文.ppt

storm安装以及部署教程_互联网_IT/计算机_专业资料。Storm 介绍流式计算工具 入门篇 content Storm 介绍 Storm 搭建 Storm应用实例 Storm结合kafka ...


Storm基础培训_图文.ppt

Storm基础培训_计算机软件及应用_IT/计算机_专业资料。storm培训 Storm基础培训 CFCA开发部 朴冠英 目录 ? ? ? ? ? ? Storm集群组成 Storm集群搭建 Storm ...


超人学院storm深入浅出_图文.ppt

超人学院storm深入浅出_计算机软件及应用_IT/计算机_专业资料。讲解storm集群安装以及storm简单开发等 深入浅出Storm www.crxy.cn Storm简介 Storm是Twitter开源的一...

网站首页 | 网站地图
All rights reserved Powered by 酷我资料网 koorio.com
copyright ©right 2014-2019。
文档资料库内容来自网络,如有侵犯请联系客服。zhit325@126.com