现在有一台 nfs 服务器,挂载到一台业务服务器,有海量的小文件需要拷贝到 nfs 服务器上,经过测试发现:单个大文件传输速度很快,但是海量的小文件传输就很慢了。添加挂载参数 rsize=8192,wsize=8192,发现效率还是很慢;这个问题如何优化?
小文件估计无解,nfs smb 9p 等似乎都快不起来
小文件,tcp 的慢启动,再加上创建文件啥的都需要网路 io 。
tar 打包压缩,传了再解压。
开多线程并发传
不能 tar
tar 打包,输出到 stdout,走管道。
另一端 tar 从 stdin 解包,释放到文件系统。
中间可以通过 ssh 、netcat 等方式连接。
换对象存储