spark1.4 Windows local调试环境搭建总结
1.scala版本
scala-2.10.4 官方推荐
scala-2.11.7【不推荐,非sbt项目、需要后加载】
2.spark版本
spark-1.4.0-bin-hadoop2.6.tgz
3.hadoop
3.1版本
hadoop-2.6.0.tar.gz
3.2环境变量
HADOOP_HOME=E:/ysg.tools/spark/hadoop-2.6.0
或
System.setProperty(“hadoop.home.dir”, “E:\ysg.tools\spark\hadoop-2.6.0”);
3.3winutils.exe
winutils.exe拷贝至spark/hadoop-2.6.0/bin
文件下载地址
http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip
4.idea
新建 NO-SBT项目
libraties 增加 scala sdk
spark-1.4.0-bin-hadoop2.6\lib\spark-assembly-1.4.0-hadoop2.6.0.jar
spark.test.iml
先加载 spark-assembly-1.4.0-hadoop2.6.0
再加载 scala-sdk-2.11.7
<?xml version="1.0" encoding="UTF-8"?>
<module type="JAVA_MODULE" version="4">
<component name="NewModuleRootManager" inherit-compiler-output="true">
<exclude-output />
<content url="file://$MODULE_DIR$">
<sourceFolder url="file://$MODULE_DIR$/src" isTestSource="false" />
</content>
<orderEntry type="inheritedJdk" />
<orderEntry type="sourceFolder" forTests="false" />
<orderEntry type="library" name="spark-assembly-1.4.0-hadoop2.6.0" level="project" />
<orderEntry type="library" name="scala-sdk-2.11.7" level="project" />
</component>
</module>
相关推荐
spark1.4 Windows local调试环境搭建总结 http://my.oschina.net/itnms/blog/473273
Spark环境搭建-Windows
spark1.4的本地模式编程练习(2)附加的配套代码
主要介绍了Spark在Windows下的环境搭建方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
spark开发文档,有需要的尽管下载看看,1分而已,哈哈哈
Spark集群及开发环境搭建,适合初学者,一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建(hadoop用户下)...
spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本: win10 家庭装,64位,x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-...
Java、scala、maven、idea、spark、以及python环境的搭建文档
四、 基础环境搭建(hadoop用户下) 7 1. 机器名HostName 7 2. 关闭防火墙 7 3. 系统更新及常用工具安装 8 4. IP配置 8 5. JDK安装 9 五、 Hadoop安装及配置 10 1. 安装 10 2. 配置 10 六、 机器集群搭建 ...
Spark环境搭建-Linux
Hadoop 2.2.0 详细配置+Spark部署(ps:自己弄的文档,完全可以搭建成功)
Ubuntu 16.04下JDK+Hadoop+Spark环境搭建 Ubuntu 16.04下JDK+Hadoop+Spark环境搭建
Apache Spark开发环境搭建
基于Win7环境,IntelliJ IDEA 搭建Spark开发环境。
hadoop,spark,scala环境搭建,有详细步骤,一步一步跟着word操作就可以了。
大数据环境搭建——>Spark安装配置
这是一个大数据主流平台SPARK搭建的完美教程,特别适合零基础者。
spark搭建手册
spark-1.4.0-bin-hadoop1.tgz