1、下载spark解压到D盘,现在的版本是1.2.1
2、下载scala安装到d:\ProgramFiles(x86)\scala\
修改path这个变量,把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin(现在版本的scala会自动修改系统的环境变量,提示的时候选择不阻止)
测试是否配置成功,在命令行中输入scala-version
3、按照Spark官方的安装指南,在解压的目录下,运行:sbt/sbtpackage或者sbtassembly
可能会出现错误,这是由于sbt版本的问题,下载windows环境下的sbt,安装好后将sbt的文件复制到spark目录下。
再次cmd在spark目录下运行sbt package
4、遇到git不是内部命令错误的解决方法是:安装windows版本的git工具,安装好后配置环境变量。
找到git安装路径中bin的位置,如:D:\ProgramFiles(x86)\Git\bin
找到git安装路径中git-core的位置,如:D:\ProgramFiles(x86)\Git\libexec\git-core;
加入到环境变量中;
5、安装好后再运行sbt package
由于sbt需要从国外下载Spark的依赖包,必须设置代理:
cmd命令行添加:set HTTP_PROXY=http://localhost:8123
6、编译成功后在spark下运行spark-shell
出现D:\programfile(x86)不是内部活外部命令的错误,这是由于空格问题产生的,只需要在cmd进入spark目录下的过程中将D:\ProgramFile (x86)则改为progra~2(
D:\ProgramFile则改为progra~1)即可。
再次输入spark-shell,现在可以开始spark windows之旅了!!
http://www.nikest.com/web/jswd/2015/0310/137975.html
相关推荐
winutils.exe and hadoop.dll 在 win7_64 环境亲测通过,解压的winutils.exe放在...\hadoop-2.8.1\bin\下,hadoop.dll放在...\Windows\system32\下, 我安装的是Java 1.8.0_151,python3.6.3,spark2.2.0+hadoop...
基于Win7环境,IntelliJ IDEA 搭建Spark开发环境。
windows环境编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记 环境要求 操作系统环境:Windows 10(Windows7、Windows8亦可) Java版本: jdk1.8 Scala版本:2.11.0 Maven版本:3.5.4 Git版本:版本...
解决win7环境下执行spark或hadoop程序出错。ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the ...
通常情况下,Spark开发是基于Linux集群的,但这里作为初学者并且囊中羞涩,还是在windows环境下先学习吧。 参照这个配置本地的Spark环境。 之后就是配置PyCharm用来开发Spark。本人在这里浪费了不少时间,因为百度...
wind7 /win10 hadoop 2.7.7 配置 winutil 直接解压后copy到hadoop/bin目录就可以了
hadoop2.6,window7 64bit,hadoop.dll、winutils.exe文件下载
win7运行spark 时提示错误:Could not locate executable C:\hadoop-2.8.1\bin\winutils.exe in the Hadoop binaries
'[IT18掌www.it18zhang.com]001.Hadoop基础篇.pptx' '[IT18掌www.it18zhang.com]014.Hadoop Win7开启网络访问.pptx' '[IT18掌www.it18zhang.com]Kafka.pptx' '[IT18掌www.it18zhang.com]002.VMware下载与安装.pptx' ...
我的是自己在Linux架的分布式Hadoop,在32位Win7用Eclipse开发,网站上大部分是64bit的,自己查资料编译了32bit的。
用于win7开发、调试下读取HDFS文件(包括hive读取),hadoop2.6.3
此资源是由win7 64下编译成功的用语解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.的问题的winutils.exe 资源
windows解压缩包、安装软件时,会生成一些临时文件存放在temp目录中,windows不会自动删除这些文件。 临时文件目录可以在环境变量中查看和配置 在工作机or个人PC机中中这个目录一般不会有什么问题,但是在server...
安装步骤 注意:本篇的所有资源可通过百度网盘提供,减少寻找和下载时间 链接:https://pan.baidu.com/s/1v53Vt5NZEPZigCXE6rjDGQ 提取码:64pi 1.安装java 这里选择version 1.8.,配置环境变量JAVA_HOME,PATH,...