kafka優化攻略

來源:魅力女性吧 1.6W
kafka優化攻略

1)Producer :消息生產者,就是向 kafka broker 發消息的客户端

2)Consumer :消息消費者,向 kafka broker 取消息的客户端

3)Consumer Group (CG):消費者組,由多個 consumer 組成。消費者組內每個消費者負責消費不同分區的數據,一個分區只能由一個組內消費者消費消費者組之間互不影響。所有的消費者都屬於某個消費者組,即消費者組是邏輯上的一個訂閲者。

4)Broker :一台 kafka 服務器就是一個 broker。一個集羣由多個 broker 組成。一個 broker可以容納多個 topic。

5)Topic :可以理解為一個隊列,生產者和消費者面向的都是一個 topic

6)Partition:為了實現擴展性,一個非常大的 topic 可以分佈到多個 broker(即服務器)上,一個 topic 可以分為多個 partition,每個 partition 是一個有序的隊列

7)Replica:副本,為保證集羣中的某個節點發生故障時,該節點上的 partition 數據不丟失,且 kafka 仍然能夠繼續工作,kafka 提供了副本機制,一個 topic 的每個分區都有若干個副本,一個 leader 和若干個 follower。

8)leader:每個分區多個副本的“主”,生產者發送數據的對象,以及消費者消費數據的對象都是 leader。

9)follower:每個分區多個副本中的“從”,實時從 leader 中同步數據,保持和 leader 數據的同步。leader 發生故障時,某個 follower 會成為新的 follower。

熱門標籤