在Mac上安装Apache Spark最新版本

在Mac（macOS）上安装最新版本的Apache Spark的只需要五个简单步骤

使用Homebrew在Mac OS上安装Apache Spark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装Apache Spark。

下面我解释了使用Homebrew在Mac OS上逐步安装Apache Spark，验证安装，运行spark-shell，并创建一个Spark DataFrame。

在Mac OS上安装最新版本的Apache Spark的步骤

第1步 - 安装Homebrew 第2步 - 安装Java 第3步 - 安装Scala 第4步 - 安装Apache Spark最新版本 第5步 - Spart Spark shell和验证安装

1.在Mac上安装Apache Spark最新版本

Homebrew是一个macOS的软件包管理器，用于在Mac（macOS）上安装第三方软件包，如Java，和Apache Spark。为了使用Homebrew，首先，你需要通过使用以下命令来安装它。

# 安装 Homebrew
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

这将提示你输入管理员密码。你将需要输入你的管理员密码来运行这个命令。在个人笔记本电脑上，这与你登录Mac时输入的密码相同。如果你没有root权限，请联系你的系统管理员。在成功安装homebrew后，你应该看到类似下面这样的东西。

安装后，你可能需要运行下面的命令，将brew设置为你的$PATH。

# 设置path环境
echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/admin/.zprofile
eval "$(/opt/homebrew/bin/brew shellenv)"

如果上述命令有问题，你可以从Homebrew找到最新的命令。

2. 安装 Java

Spark使用Java的底层来驱动，因此你的Mac上需要有Java。由于Java是第三方的，你可以使用Homebrew命令brew来安装它。由于Oracle Java不再是开源的了，我使用的是OpenJDK 11版本。在终端运行下面的命令来安装它。

# 安装 OpenJDK 11
brew install openjdk@11

3. 安装 Scala

由于Apache Spark是用Scala语言编写的，很明显你需要Scala来运行Spark程序。

# 安装 Scala (可选的，如果使用Java来写可以不安装Scala)
brew install scala

4.在Mac上安装Apache Spark

你也可以使用Homebrew在Mac上下载和安装Apache Spark最新版本。

关于Spark的一些简单介绍，Apache Spark是一个开源的分析处理引擎，用于大规模强大的分布式数据处理和机器学习应用。Spark最初是由加州大学伯克利分校开发的，后来捐赠给了Apache软件基金会。

# 安装 Apache Spark
brew install apache-spark

这将在你的Mac操作系统上安装最新版本的Apache Spark。

成功安装Apache Spark最新版本后，从命令行运行spark-shell来启动Spark shell。你应该看到像下面这样的东西（暂时忽略警告）。 spark-shell是Apache Spark发布时附带的一个CLI工具

注意，它在终端上显示你正在使用的Spark版本和Java版本。

5. 从Shell验证Spark的安装

让我们用一些样本数据创建一个Spark DataFrame来验证安装。在Spark Shell中按相同的顺序输入以下命令。

import spark.implicits._
val data = Seq(("Java", "20000"), ("Python", "100000"), ("Scala", "3000"))
val df = data.toDF() 
df.show()

产生以下输出。关于Apache Spark的更多例子，请参考Spark教程与实例。

另外，可以从浏览器打开http://localhost:4041/jobs/，以访问Spark Web UI来监控您的工作。

总结

本文讲解了如何使用Homebrew逐步安装Apache Spark最新版本的过程。步骤包括安装Homebrew、Java、Scala、Apache Spark，并通过运行spark-shell验证安装。

接下来的步骤就是愉快的编码！

相关链接