kafka写入机制

发表于 分类于 阅读次数：

1.producer会将数据push到broker上，每条消息会被追加到topic下的一个partition里的log文件里的末

尾，保证分区有序性，且会顺序写入磁盘

2.为了不让log文件过大，kafka还采用了分区分段存储，即log体积达到了某个阈值，就会生成新的log文件，

后面来的消息会追加到新的文件里

3.文件结构

一个topic里有多个partition，partition内有多个segement，一个segement包括三个文件index，log， timeIndex

partition就是一个文件夹，属于物理概念。命名规则为 topic + 分区号 如 first-1

而segement也是个逻辑概念

index，log文件命名为 segement里第一条消息的offset