1、下载安装kafka

1.1、下载安装kafka

在window上安装kafka很简单，首先从kafak官网下载对应版本的kafka。

Apache Kafka

然后将下载的zip包进行加压缩，就可以看到kafka的源码包了。

kafka的配置分为 broker、produce、consumer三个不同的配置

1**、Broker端参数**

BROKER 的全局配置：

最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。

1、存储

• log.dirs：指定broker使用的若干个文件目录路径。（无默认值，必须指定）
• log.dir：配置单个路径，用于上个参数的补充。

• 14. Kafk手册
  • 14.1. 初级
    • 14.1.1. 请说明什么是Apache Kafka？
    • 14.1.2. Kafka的基本术语
    • 14.1.3. 请说明什么是传统的消息传递方法？
    • 14.1.4. 数据传输的事务有几种？
    • 14.1.5. 使用消息队列的好处
    • 14.1.6. 为什么选择kafka
      • 14.1.6.1. kafka由多个生产者
      • 14.1.6.2. 多个消费者
      • 14.1.6.3. 基于磁盘的消息存储
      • 14.1.6.4. 伸缩性
      • 14.1.6.5. 高性能
    • 14.1.7. Kafka生产者分区策略
    • 14.1.8. Kafka 缺点？
    • 14.1.9. Kafka消息队列
      • 14.1.9.1. 点对点模式
      • 14.1.9.2. 发布订阅模式
    • 14.1.10. 请简述下你在哪些场景下会选择 Kafka？
    • 14.1.11. 如何保证每个应用程序都可以获取到 Kafka 主题中的所有消息，而不是部分消息？
  • 14.2. 中级
    • 14.2.1. Kafka 的设计架构？
    • 14.2.2. 零拷贝技术
    • 14.2.3. 高性能高吞吐
      • 14.2.3.1. 页缓存技术
      • 14.2.3.2. 顺序写
      • 14.2.3.3. 批发送
      • 14.2.3.4. 数据压缩
      • 14.2.3.5. 零拷贝技术
    • 14.2.4. Kafka 分区的目的？
    • 14.2.5. 说一下什么是副本？
    • 14.2.6. Kafka消息是采用Pull模式，还是Push模式？
    • 14.2.7. kafka消息队列优点或者对比
      • 14.2.7.1. 请说明Kafka相对于传统的消息传递方法有什么优势？
      • 14.2.7.2. Kafka与传统消息队列的区别？
    • 14.2.8. Kafka的设计是什么样的呢？
    • 14.2.9. Kafka判断一个节点是否还活着有那两个条件？
    • 14.2.10. Kafa consumer是否可以消费指定分区消息？
    • 14.2.11. producer是否直接将数据发送到broker的leader(主节点)？
    • 14.2.12. Kafka存储在硬盘上的消息格式是什么？
    • 14.2.13. Kafka高效文件存储设计特点：
    • 14.2.14. Kafka工作流程
    • 14.2.15. 生产者向 Kafka 发送消息的执行流程介绍一下？
    • 14.2.16. Producer 发送的一条 message 中包含哪些信息？
    • 14.2.17. kafka 如何实现多线程的消费？
    • 14.2.18. 如何保证Kafka的消息有序
    • 14.2.19. kafka 如何保证数据的不重复和不丢失？
    • 14.2.20. kafka如何保证对应类型数据写入相同的分区
    • 14.2.21. Kafka创建Topic时如何将分区放置到不同的Broker中
    • 14.2.22. Kafka新建的分区会在哪个目录下创建
    • 14.2.23. partition的数据如何保存到硬盘
    • 14.2.24. Kafka的消费者如何消费数据
    • 14.2.25. kafaka生产数据时数据的分组策略
    • 14.2.26. kafka集群架构
    • 14.2.27. Kafka的工作机制
    • 14.2.28. kafka文件存储结构
    • 14.2.29. kafka应用场景
    • 14.2.30. kafka生产者写入数据
      • 14.2.30.1. 副本
      • 14.2.30.2. 写入方式
      • 14.2.30.3. broker保存消息
      • 14.2.30.4. 存储策略
      • 14.2.30.5. 分区
    • 14.2.31. kafka写入数据可靠性保障
    • 14.2.32. kafka的ack机制
      • 14.2.32.1. Exactly Once语义
    • 14.2.33. kafka 事务了解吗？
    • 14.2.34. kafka有那些分区算法
      • 14.2.34.1. 轮询策略
      • 14.2.34.2. 随机策略
      • 14.2.34.3. 按 key 分配策略
    • 14.2.35. kafka消费者
      • 14.2.35.1. 消费方式
      • 14.2.35.2. Consumer Group
      • 14.2.35.3. 分区分配策略
        • 14.2.35.3.1. Range分区分配策略
        • 14.2.35.3.2. RoundRobinAssignor分区分配策略
        • 14.2.35.3.3. StickyAssignor分区分配策略
    • 14.2.36. Rebalance (重平衡)
      • 14.2.36.1. Coordinator
      • 14.2.36.2. 触发条件
      • 14.2.36.3. Rebalace 流程
      • 14.2.36.4. 如何避免 Rebalance
    • 14.2.37. 日志索引
    • 14.2.38. 解释如何减少ISR中的扰动？broker什么时候离开ISR？
    • 14.2.39. ISR、OSR、AR 是什么？
    • 14.2.40. LEO、HW、LSO、LW等分别代表什么？
    • 14.2.41. 如何进行 Leader 副本选举？
    • 14.2.42. 如何进行 broker Leader 选举？
    • 14.2.43. Kafka为什么需要复制？
    • 14.2.44. Kafka 的高可靠性是怎么实现的？
      • 14.2.44.1. Topic分区副本
      • 14.2.44.2. Producer往Broker 发送消息
      • 14.2.44.3. Leader 选举
      • 14.2.44.4. 数据一致性（可回答“Kafka数据一致性原理？”）
    • 14.2.45. Kafka 分区数可以增加或减少吗？为什么？
    • 14.2.46. Kafka消息可靠性的保证
      • 14.2.46.1. Broker
      • 14.2.46.2. Producer
      • 14.2.46.3. Consumer消费消息有下面几个步骤：
    • 14.2.47. 为什么kafka中1个partition只能被同组的一个consumer消费?
    • 14.2.48. kafka和zookeeper的关系
    • 14.2.49. zookeeper在kafka中的作用
      • 14.2.49.1. 作用
        • 14.2.49.1.1. Broker注册
        • 14.2.49.1.2. Topic注册
        • 14.2.49.1.3. 生产者负载均衡
        • 14.2.49.1.4. 消费者负载均衡
        • 14.2.49.1.5. 分区与消费者的关系
        • 14.2.49.1.6. 消费进度Offset记录
        • 14.2.49.1.7. 消费者注册
    • 14.2.50. Kafka服务器能接收到的最大信息是多少？
    • 14.2.51. Kafka中的ZooKeeper是什么？Kafka是否可以脱离ZooKeeper独立运行？
    • 14.2.52. Kafka的高性能的原因
    • 14.2.53. kafka broker 挂了怎么办
    • 14.2.54. 关于kafka的isr机制
      • 14.2.54.1. kafka replica
      • 14.2.54.2. Data Replication如何Propagate(扩散出去)消息？
      • 14.2.54.3. Data Replication何时Commit？
      • 14.2.54.4. Data Replication如何处理Replica恢复
      • 14.2.54.5. Data Replication如何处理Replica全部宕机
    • 14.2.55. Exactly Once语义