Linux 系统安装 Pyspark

安装 Java

Pyspark 是 依赖java 运行的所以需要安装java Jdk

可以参考这篇文章 https://www.168seo.cn/linux/25044.html

安装Spark

Spark官网下载地址

http://spark.apache.org/downloads.html

这里可以选择相应的配置。我选择的是

解压压缩包 spark-2.4.3-bin-hadoop2.7.tgz

解压压缩包,获得spark相应位置

移动spark位置

在这里可以将spark文件移动到任意一个位置。我这里移动到/srv下

建立软链接

创建指向该Spark版本的符号链接到spark目录。这样你可以简单地下载新/旧版本的Spark,然后修改链接来管理Spark版本,而不用更改路径或环境变量。

修改配置文件,添加到Path中

修改BASH配置,将Spark添加到PATH中,设置SPARK_HOME环境变量。编辑~/.bash_profile或~/.profile文件,`将以下语句添加到文件中

测试运行安装情况

source这些配置(或者重启终端),你就可以在本地运行一个pyspark解释器。

运行 Pyspark
Linux 系统安装  Pyspark-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客