Влияние кеша записи на скорость записи/чтения на контроллере LSI MegaRaid SAS1068 (он же ROMB, встроенный в материнскую плату аппаратный RAID)

Собственно есть: Сервер FujitsuSiemens PRIMERGY S3, 2х Intel Xeon X5355, 6G RAM (в пути 32GB) и 6x Seagate SAS 10K 73GB.

Диски в RAID5, Контроллер встроенный в материнскую плату сервера — LSI PCI-Express ROMB (MR SAS1068e), 256MB кеша без BBU.

Замеры скорости чтения и записи с синхронной записью на диск, WriteThru:

//NO CACHE
//WRITE
root@yuzuha:~# dd if=/dev/zero of=/root/zero.zero bs=256K count=2000
2000+0 records in
2000+0 records out
524288000 bytes (524 MB) copied, 2.02591 s, 259 MB/s
root@yuzuha:~# dd if=/dev/zero of=/root/zero.zero bs=256K count=20000
20000+0 records in
20000+0 records out
5242880000 bytes (5.2 GB) copied, 100.696 s, 52.1 MB/s

//READ
root@yuzuha:~# dd if=/root/zero.zero of=/dev/null bs=256K
20000+0 records in
20000+0 records out
5242880000 bytes (5.2 GB) copied, 18.6332 s, 281 MB/s
root@yuzuha:~# dd if=/root/zero.zero of=/dev/null bs=1M
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 18.9216 s, 277 MB/s
root@yuzuha:~# dd if=/root/zero.zero of=/dev/null bs=4K
1280000+0 records in
1280000+0 records out
5242880000 bytes (5.2 GB) copied, 18.4222 s, 285 MB/s

 

Запись и чтение с включенным кешем записи, WriteBack, Adaptive(Read)

/*W/CACHE*/
//WRITE
root@yuzuha:~# dd if=/dev/zero of=/root/zero.zero bs=256K count=2000
2000+0 records in
2000+0 records out
524288000 bytes (524 MB) copied, 1.83015 s, 286 MB/s
root@yuzuha:~# dd if=/dev/zero of=/root/zero.zero bs=256K count=20000
20000+0 records in
20000+0 records out
5242880000 bytes (5.2 GB) copied, 33.582 s, 156 MB/s

//READ
root@yuzuha:~# dd if=/root/zero.zero of=/dev/null bs=256K
20000+0 records in
20000+0 records out
5242880000 bytes (5.2 GB) copied, 31.8847 s, 164 MB/s
root@yuzuha:~# dd if=/root/zero.zero of=/dev/null bs=4K
1280000+0 records in
1280000+0 records out
5242880000 bytes (5.2 GB) copied, 41.1013 s, 128 MB/s
root@yuzuha:~# dd if=/root/zero.zero of=/dev/null bs=1M
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 28.6514 s, 183 MB/s

//BONUS
//WRITE
root@yuzuha:~# dd if=/dev/zero of=/root/zero.zero bs=4K count=200000
200000+0 records in
200000+0 records out
819200000 bytes (819 MB) copied, 6.77439 s, 121 MB/s
root@yuzuha:~# dd if=/dev/zero of=/root/zero.zero bs=4K count=1000000
1000000+0 records in
1000000+0 records out
4096000000 bytes (4.1 GB) copied, 23.409 s, 175 MB/s

Эксперимент не совсем чистый, т.к. на этом сервере в момент тестирования крутился веб-сайт =) Файловая система везде — EXT3

  • Странным выглядит просадка скорости чтения при кешировании.
  • Скорость записи ожидаемо выросла при записи больших файлов.
  • Уменьшение размера блока радикально не влияет на скорость.