机器准备
笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。通过ping验证三台是可以通信的。
192.168.248.150 spark-master 192.168.248.153 ubuntu-worker 192.168.248.155 spark-worker1
根据机器信息加入到三台机器的/etc/hosts中。
配置
我们需要设置spark-master 能够免密码验证登陆ubuntu-worker、spark-worker1两台机器。
-
安装ssh
sudo apt-get install openssh-server
-
生成秘钥
执行命令ssh-keygen -t rsa,然后一直按回车键即可。
-
复制spark-master结点的id_rsa.pub文件到另外两个结点:
scp id_rsa.pub spark@ubuntu-worker:~/.ssh/
-
到另外两个结点,将公钥加到用于认证的公钥文件中:
cat id_rsa.pub >> authorized_keys
-
修改两个worker的authorized_keys权限为600或者644、将.ssh文件权限改为700
chmod 700 .ssh
chmod 600 authorized_keys
-
验证:
登陆spark-master,在终端输入ssh ubuntu-worker,登陆成功则说明配置成功。
http://www.fwqtg.net/spark%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA-ssh%E5%85%8D%E5%AF%86%E7%A0%81%E9%AA%8C%E8%AF%81%E7%99%BB%E9%99%86.html
相关推荐
基于Linux平台下的Hadoop和Spark集群搭建研究.pdf
Spark集群及开发环境搭建,适合初学者,一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建(hadoop用户下)...
这篇博客,Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍 Spark是基于内存计算的大数据并行计算框架,...
Spark standalone 分布式集群搭建,Spark standalone运行模式,Spark Standalone运行架构解析---Spark基本工作流程,Spark Standalone运行架构解析---Spark local cluster模式
Spark集群搭建的完整过程,可参考搭建一个属于自己的Spark集群。非常适合新手,学习spark平台的搭建。
大数据环境搭建——>Spark安装配置
实时计算框架:Spark集群搭建与入门案例。50字50字50字50字50字50字
hadoop与spark集群搭建,了解hadoop分布式、伪分布式等方式集群搭建
基于CDH的spark集群搭建,包括了httpd等服务的部署过程
Spark on Yan集群搭建的详细过程,减少集群搭建的时间
本人搭建Hadoop集群基础之上的Yarn及Spark集群配置过程,及相应的学习文档。对Spark的Python编程指南进行了部分翻译。欢迎大家指正。
【Spark研究】极简 Spark 入门笔记——安装和第一个回归程序
Spark环境搭建-Windows
分布式hadoop与spark集群搭建[汇编].pdf
本篇博客,Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备...
基于Linux平台下的Hadoop和Spark集群搭建研究.docx
CentOS集群搭建、Hadoop集群搭建 配置免密 连接外网,Hive安装 Zookeeper搭建 Kafka scala flume安装 Spark搭建及启动
4. ssh免密登录 15 5. hadoop集群测试 17 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发环境搭建 21 1、系统安装 21 2、安装jdk8 21 3、安装scala...
hadoop2.2集群搭建遇到的各种问题。
Spark集群环境搭建