ChubaoFS vs NFS 性能对比测试

目的

使用fio，对chubaofs 和 nfs 进行读写测试，对比两者性能；

测试说明

• 所有机器都在一个机房内；

• nfs： nfs为两套nfs1,nfs2，nfs1为nvme磁盘，nfs2为hdd磁盘；

• chubaofs： chubaofs 磁盘为hdd磁盘，8个datanode节点；

• 测试服务器：4台测试服务器，每台建立三个挂载目录，每个目录分别挂载nfs1, nfs2, chubaofs待测试卷；

• 读写类型：顺序读(read), 顺序写(write),混合读写(rw), 随机读(randread), 随机写(randwrite), 随机混合读写(randrw)

• 数据块大小：4M，1M，256K, 64K, 16K, 4K

测试脚本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

    fio \
        -name=${test_name} \
        -directory=$1 \
        -direct=0 \
        -fallocate=0 \
        -iodepth 1 \
        -thread \
        -rw=${RW_TYPE} \
        -ioengine=psync \
        -bs=${FIO_BS} \
        -size=4G \
        -numjobs=20 \
        -runtime=180 \
        -group_reporting 

测试过程

1. 分别准备nfs1，nfs2，chubaofs待测试卷；

2. 在4台测试服务器上分别挂载测试卷到相应目录；

3. 在4台测试服务器中同时发起fio测试脚本，依次测试nfs1，nfs2, chubaofs的性能数据；

4. 将各个服务器中的性能数据相加，得到总的数据;

测试结果

结论

1. chubaofs-hdd在各种情形下，性能均优于nfs-hdd，顺序写性能为5-8倍，顺序读性能为30~40倍；

2. 混合读写时，nfs-nvme高于chubaofs，约为chubaofs的3-5倍；其他情形下chubaofs性能高于nfs-nvme；为2~3倍；