|
|
现在有一个应用，一台机器大概200万张2M大小的文件，要读到一个集群中处理，或者copy到另外一个地方，发现速度特别慢。只有5－20MB／s(网络)本地读取60M／s左右。
这台机器配置：
intel 5130*2
memory 4*2G
下边挂了 16*750G硬盘。（数据在这里边）
系统：redhat 4 kernel 2.6.9-44
文件系统：ext3
我试验过不同的块大小，软硬raid,本来作了一个并行的文件系统(lustre),发现对小文件只有10M每秒的读写速度。（双千兆网卡bonding，一个单独的大文件在lustre里边有 900MB／s的速度，所以可以排除是网络的问题）拆掉lustre用单台机器试验发现大文件都还好，就是这种小文件特别慢。用过ext3（没法格式化超过4T的）,xfs两种文件系统
效果一样，不知道问题在哪里，或者有其他解决方法。现在我也在试验中。哪位有这方面的资料或者经验给我点谢谢了。 |
|
IP卡
狗仔卡
发表于 2007-10-5 23:56:47
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡