Storm运行模式:
- 本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。
- 远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个模式中,Storm的所有组件都是线程安全的,因为它们都会运行在不同的Jvm或物理机器上,这个模式就是正式的生产模式。
本地模式:
LocalCluster cluster = new LocalCluster(); cluster.submitTopology("Getting-Started-Toplogie", conf, builder.createTopology()); Thread.sleep(1000); cluster.shutdown();
远程模式:
StormSubmitter.submitTopology("Count-Word-Topology-With-Refresh-Cache", conf, builder.createTopology());
执行命令:
storm jar storm.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost
如果job中需要引用三方jar:
1.将第三方jar放到storm lib 目录
2.通过maven打包,将第三方jar解压打包到一个jar中。 (不解压不行)
pom
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.cyyun</groupId> <artifactId>stormtest</artifactId> <version>0.0.1-SNAPSHOT</version> <profiles> <profile> <id>test</id> <properties> <package.finalName>stormtest</package.finalName> </properties> <activation> <activeByDefault>true</activeByDefault> </activation> </profile> </profiles> <repositories> <!-- Repository where we can found the storm dependencies --> <repository> <id>clojars.org</id> <url>http://clojars.org/repo</url> </repository> </repositories> <dependencies> <!-- <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>0.9.1-incubating</version> </dependency> --> <!--md5--> <dependency> <groupId>fast-md5</groupId> <artifactId>fast-md5</artifactId> <version>2.5</version> </dependency> </dependencies> <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>2.4</version> <configuration> <appendAssemblyId>false</appendAssemblyId> <finalName>${package.finalName}</finalName> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest> <mainClass>${package.mainClass}</mainClass> </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>assembly</goal> </goals> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>2.3.2</version> <configuration> <encoding>UTF-8</encoding> <compilerArguments> <verbose /> <bootclasspath>${java.home}/lib/rt.jar;${java.home}/lib/jce.jar</bootclasspath> </compilerArguments> </configuration> </plugin> </plugins> <resources> <resource> <directory>${project.basedir}/src/main/resources</directory> <filtering>true</filtering> <excludes> <exclude>com/**/*.*</exclude> </excludes> </resource> <resource> <directory>${project.basedir}/src/main/resources</directory> <filtering>false</filtering> <includes> <include>com/**/*.*</include> </includes> </resource> </resources> </build> </project>
相关推荐
Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建
思路:Storm集群从Kafkatopic主题获取数据,解析后写入MySQL,注意我们使用MyBatis工具与数据库交互 项目结构 部署MySQL 我们在服务器上部署一台MySQL数据库 具体参考这篇文章 数据库表结构如下: ...
Storm在Linux集群上运行
storm集群搭建Java客户端测试代码(含storm集群环境搭建文档)
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
本文档包括storm集群部署的整体过程:JDK部署,zookeeper集群部署,storm集群部署
Storm_WebService_测试工具
Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法
storm集群安装与运维.doc
storm集群部署和配置过程详解,里面有storm的详细部署步骤
今天来实现一个Storm数据流处理综合案例的第一部分,Storm集群向Kafka集群源源不断写入数据,并部署为远程模式 准备工作 搭建三台Kafka集群服务器 参考文档:Linux部署Kafka集群 搭建三台Storm集群服务器 参考...
02_流式计算基础_第1天 (Storm集群部署、单词计数、Stream Grouping).docx
#资源达人分享计划#
Storm集群环境搭建
storm集群安装文档,通过此文档可以迅速搭建storm的集群,进一步学习storm
01-storm简介 02-storm部署-1 03-storm部署-2 04-storm部署概念 05-streamgrouping 06-storm组件生命周期 07-storm可靠性1 08-storm可靠性2
Storm-集群环境搭建
storm集群环境搭建文档
storm部署(包括所有依赖rpm包、集群搭建详解)