在几分钟内开始使用Apache Kafka

Technofunnel提供了另一篇文章，介绍如何在本地系统上使用Apache Kafka Server。 本文的重点是提供简单的步骤来运行Kafka。 本文将添加在Windows上运行Apache Kafka服务器以及创建Kafka Consumer和Producer所需的一系列步骤和配置。

什么是Kafka

Apache Kafka是一个分布式流平台，可用于发布和订阅数据流。 Kafka确实非常快，并且具有良好的容错能力。 它可以处理大量数据，并可用于实时数据跟踪。 Apache Kafka可用于监视日志，跟踪实时流量，管理实时数据共享。

Kafka具有高吞吐量，高度可靠的系统，如今已被大公司使用。 在我们的实际应用程序中进行设置和工作很简单。

Kafka设置和安装

1.通过以下链接在Windows上安装Java JDK 8：

2.从以下网址下载Kafka：

3.在本地系统中解压缩Kafka文件夹

安装Java JDK后，将Kafka文件夹解压缩到某个本地目录中。 为此，我将文件夹解压缩到" C："中

4.修改Kafka的配置

我们需要进一步修改一些配置。 在" config"文件夹中，使用以下描述的配置更新" server.properties"文件。

5.更新配置文件中的日志目录

此外，我们需要修改" log.dirs"属性以标记当前的Kafka存储库。 由于我已将文件解压缩到" C："，因此配置已更新为" C： kafka_2.12–2.4.0"

设置完成后，我们需要执行以下命令，以使基本系统和Kafka服务器以及主题的使用者和生产者一起运行。

运行Apache Zookeeper…

Apache Zookeeper是由Apache开发的软件，用作集中服务，用于维护命名和配置数据并在分布式系统内提供同步。 Zookeeper跟踪Kafka群集节点的状态，还跟踪Kafka主题，分区等。

ApacheZookeeper本身允许多个客户端同时执行读写操作，并充当系统内的共享配置服务。 Zookeeper原子广播（ZAB）协议是整个系统的大脑，这使Zookeeper可以充当原子广播系统并发布有序的更新。

在本地系统上运行ZooKeeper

运行Zookeeper非常简单，我们需要执行以下命令。 由于我们正在使用Windows，因此我们需要导航到" bin"目录的" windows"文件夹。

在Windows文件夹中，我们需要执行：

zookeeper-server-start.bat ../../config/zookeeper.properties

**请记住，该命令需要在" window"文件夹中执行

此命令将使用" C： kafka_2.12–2.4.0 config zookeeper.properties"中定义的配置设置开始运行Zookeeper服务器。 Zookeeper启动并运行后，我们需要运行" Kafka"服务器。 上面的命令将在以下端口上运行ZooKeeper：2181

正在运行Apache Kafka服务器…

为了运行Kafka服务器，我们需要让Zookeeper在后台运行，打开另一个命令提示符，然后执行以下命令：

kafka-server-start.bat ../../config/server.properties

**请记住，该命令需要在" window"文件夹中执行

一旦命令启动并运行，我们将在" 9092"端口上运行Kafka服务器，并在" server.properties"配置文件中指定设置。

在Kafka中创建主题…

Kafka中的主题表示将消息发布和存储到的类别/订阅源名称。 Kafka消息传递体系结构按主题组织。 在Kafka中发送和接收的记录属于某个主题。 Kafka中的生产者在特定主题中写记录，感兴趣的消费者从订阅的主题中读取记录。 由于接收或发送的每条消息都属于一个主题，因此在与消费者或生产者合作之前，我们需要先创建一个主题。

kafka-topics.bat-创建-zookeeper本地主机：2181-复制因子1-分区1-主题testotherdata

在上面的命令中，由于我们正在创建单个Kafka服务器，因此我们将" replication-factor"设置为1，并且需要创建一个" partition"。 创建主题后，您可以运行以下命令以确保已创建主题…

kafka-topics.bat —列表— zookeeper本地主机：2181

创建Kafka生产者

从现在开始，我们有了一个可用的主题，我们现在可以创建一个"生产者"，它将数据提供给该主题流。 生产者将生产记录，然后将这些记录作为指定主题的记录添加到Kafka服务器中。

kafka-console-producer.bat —代理列表本地主机：9092 —主题testdataother

在上面的命令中，我们为主题" testdataother"创建一个生产者。 生产者现在可以开始向该主题添加记录。

创建Kafka消费者

对相同主题感兴趣的某些消费者可以使用生产者添加的记录。 生产者可用后，我们可以创建使用者以使用" testdataother"主题中的记录。

kafka-console-consumer.bat —bootserver localhost：9092 —topic testdataother

现在，既然我们创建了使用者，就可以使用来自生产者的传入数据流。 我们可以为"主题"创建多个使用者，只要生产者将记录添加到主题中，使用者就可以接收已发布的数据。

结论

与Kafka的合作既简单又可靠。 感谢您与我们联系以撰写本文。 保持联系以获取更多此类文章

(本文翻译自Mayank Gupta的文章《Apache Kafka in 5 Minutes》，参考：https://medium.com/technofunnel/apache-kafka-in-5-minutes-c92c43ba3f39)