技术解析

nfs 服务器海量小文件传输效率慢的问题
0
2021-06-15 10:22:36
idczone

现在有一台 nfs 服务器,挂载到一台业务服务器,有海量的小文件需要拷贝到 nfs 服务器上,经过测试发现:单个大文件传输速度很快,但是海量的小文件传输就很慢了。添加挂载参数 rsize=8192,wsize=8192,发现效率还是很慢;这个问题如何优化?


小文件估计无解,nfs smb 9p 等似乎都快不起来

小文件,tcp 的慢启动,再加上创建文件啥的都需要网路 io 。
tar 打包压缩,传了再解压。

开多线程并发传

不能 tar

tar 打包,输出到 stdout,走管道。
另一端 tar 从 stdin 解包,释放到文件系统。
中间可以通过 ssh 、netcat 等方式连接。

换对象存储
数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服