连接kafka命令,kafka接入方式

今天给各位分享连接kafka命令的知识，其中也会对kafka接入方式进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、kafka单机版部署
• 2、kafka-docker上使用+常用指令
• 3、关于kafka消费者的命令

kafka单机版部署

由于之前的项目用到Kafka，在这里也记录一下。

文章主要介绍以docker容器的方式部署kafka集群。上述配置文件中的server.x，数字x对应到data/myid文件中的值。三台机器x的值分别就是1，2，3。参数详细说明请参考 官网文档 。

可部署性先说明下，这里探讨的是Yarn或者Mesos集群的部署，不涉其上的应用。Yarn除了依赖JDK，对操作系统没有任何依赖，基本上放上去就能跑。Mesos因为是C/C++开发的，安装部署可能会有库依赖。

本文将会详细介绍如何在不依赖于SLS控制台的情况下，进行iLogtail本地配置模式部署，并将json格式的日志文件采集到非SLS。场景采集/root/bin/input_data/json.log，并将采集到的日志写入本地部署的kafka中。

kafka-docker上使用+常用指令

1、按照菜鸟的步骤，使用yum安装即可。常用指令如下图，直白用法点我，官方介绍点击我备注：RUN命令在image文件的构建阶段执行，执行结果都会打包进入image文件；CMD命令则是在容器启动后执行。

2、docker exec -it zookeeper /bin/sh 这时查看zk节点只有一个zookeeper docker退出当前容器 快捷键：第一次尝试启动容器是用的第一种方式，后面发现在容器外面连接不了kafka，可能是因为生成的kafka地址是容器内地址。

3、使用docker命令可快速在同一台机器搭建多个kafka，只需要改变brokerId和端口 中间两个参数的 19160.102 改为 宿主机器 的IP地址，如果不这么设置，可能会导致在别的机器上访问不到 kafka。

4、Docker是一个使用Go语言开发的开源的应用容器引擎，让开发者可以打包他们的应用以及依赖到一个可移植的容器中，然后发布到任何流行的机器上。Docker的迅猛发展和全新理念，席卷了整个IT界，成为云时代的一颗新星。

关于kafka消费者的命令

sh kafka-consumer-groups.sh --bootstrap-server ip：端口，ip：端口，ip：端口 --group 订阅组 --describe 我在本地idea起了两个进程 那么CONSUMER-ID会有两个，但是CLIENT-ID依旧是一个。

第四条消息：生产更多的消息：查看myConsumerGroup，看到多了一个CONSUMER-ID. 说明这个消费者组中有2个消费者。查看消费者组信息。

默认的线程池是什么？执行：ListenerConsumer实现了Runnable，所以最终由run方法调用的poll（）来拉取消息。

消息消费者使用 subscribe 方法 订阅了 Topic 为 test-topic 的消息。 Consumer 调用poll 方法来轮询 Kafka 集群的消息， 一直等到 Kafka 集群中没有消息或达到超时时间（示例中设置超时时间为 100 毫秒）为止 。

这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上。

连接kafka命令的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于kafka接入方式、连接kafka命令的信息别忘了在本站进行查找喔。

标签：kafka接入命令连接方式