• Kafka技术手册
  • kafka集群架构
  • Kafka的工作机制
  • kafka文件存储结构
  • kafka生产者写入数据
    • 副本
    • 写入方式
    • broker保存消息
    • 存储策略
    • 分区
  • kafka写入数据可靠性保障
  • kafka的ack机制
  • Exactly Once语义
  • kafka 事务了解吗？
  • kafka有那些分区算法
    • 轮询策略
    • 随机策略
    • 按 key 分配策略
  • kafka消费者
    • 消费方式
    • Consumer Group
    • 分区分配策略
    • Range分区分配策略
    • RoundRobinAssignor分区分配策略
    • StickyAssignor分区分配策略
    • Rebalance (重平衡)
  • Coordinator
    • 触发条件
    • 如何避免 Rebalance
    • Rebalace 流程
  • 日志索引
  • 解释如何减少ISR中的扰动？broker什么时候离开ISR？
  • ISR、OSR、AR 是什么？
  • LEO、HW、LSO、LW等分别代表什么？
  • 如何进行 Leader 副本选举？
  • 如何进行 broker Leader 选举？
  • 请说明Kafka 的消息投递保证(delivery guarantee)机制以及如何实现？
  • Kafka 的高可靠性是怎么实现的？
    • Topic分区副本
    • Producer往Broker 发送消息
  • Leader 选举
  • 数据一致性(可回答“Kafka数据一致性原理？”)
  • Kafka 分区数可以增加或减少吗？为什么？
  • Kafka消息可靠性的保证
    • Broker
    • Producer
    • Consumer消费消息
  • 为什么kafka中1个partition只能被同组的一个consumer消费?
  • kafka和zookeeper的关系
  • zookeeper在kafka中的作用
    • Broker注册
    • Topic注册
    • 生产者负载均衡
    • 消费者负载均衡
    • 分区与消费者的关系
    • 消费进度Offset记录
    • 消费者注册
  • Kafka服务器能接收到的最大信息是多少？
  • Kafka中的ZooKeeper是什么？Kafka是否可以脱离ZooKeeper独立运行？
  • Kafka的高性能的原因
  • kafka broker 挂了怎么办
  • 关于kafka的isr机制
    • kafka replica
    • Data Replication如何Propagate(扩散出去)消息？
  • Data Replication何时Commit？
  • Data Replication如何处理Replica恢复
  • Data Replication如何处理Replica全部宕机
  • Exactly Once语义

1、下载安装kafka

1.1、下载安装kafka

在window上安装kafka很简单，首先从kafak官网下载对应版本的kafka。

Apache Kafka

然后将下载的zip包进行加压缩，就可以看到kafka的源码包了。

• KAFKA配置说明
  • 一、Broker端参数
    • 1、存储
    • 2、Zookeeper
    • 3、broker id
    • 4、连接
    • 5、Topic管理
    • 5、数据留存
  • 二、Topic级别参数
  • 三、JVM参数
  • 四、操作系统参数
  • Broker参数调优
    • 1. 处理消息的最大线程数
    • 2. 处理磁盘 IO 的线程数
    • 3. 数据落盘策略
    • 4. segment 分段存储策略
    • 5. 日志清理策略
    • 6. 基础配置
    • 7. 副本同步策略
  • Server参数
  • producer参数
  • consumer参数

初级

请说明什么是Apache Kafka？

Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。

Kafka的基本术语

消息:Kafka 中的数据单元被称为消息,也被称为记录,可以把它看作数据库表中某一行的记录。