kafka partition文件存储结构

 

partition相当于一个大文件呗平均分成多个segment数据文件，每个segment尤两个两个文件构成***.index(索引文件)和***.log(数据文件)组成

 

直接上两张图就一目了然了

 
 

优点:

1. 文件的命名相当于查找的稀疏索引，省去索引文件
2. 每个segment索引又是一个稀疏索引减少索引文件的大小

but:查找起来需要消耗更多的时间

 

查找步骤:

1. 二分查找定位到segment
2. 查找segment定位log在数据文件的相对物理位置
3. 读取数据

 

最后甩个链接

http://tech.meituan.com/kafka-fs-design-theory.html