如何同步一个FTP中的文件，而且要排除一些文件

galaxy001

需要同步 ftp://ftp.ncbi.nih.gov/blast/db/ 下的*，但不包括 ftp://ftp.ncbi.nih.gov/blast/db/FASTA/ 。同时排除gss*, htgs*, wgs*
文件是否需要重新下载看FTP上的文件日期就可以了。
由于文件比较大，网速不稳，用crontab每天运行可能会出现前一天没下完就又开始运行的情况，要避免之。

这样的脚本如何写？

还想问问，如果我想每次干完后把时间写到同一个log文件中，又不想等log文件太大后手工清理，如何限制log文件最大长度比较好？主要也就是怎么取文件大小比较方便的问题。
至于截断文件，tail -n 20 ftpsync.log > ftpsync.log 不行，只能用临时文件中转吗？

morningboat

你也许可以看看这个比较专业的FTP工具来帮你同步：
http://forum.ubuntu.com.cn/viewtopic.php?t=17252
排除一些文件：可以用**/*.*样子的模式来限定文件名的样子
定时任务：存入队列后作成定时任务就可以了。
日志：这个的日志系统使用了apache common的专业日志系统，通常是足够用了。要进一步配置的话可以参看jdk14logger的配置方法。

galaxy001

我想的是搞个完全CLI的解决方案，因为准备用cron后台自动运行的。
它没说支持CLI，我也不想在服务器上运行X服务。
而且感觉要用java，有些不爽，虽然实际上占不了多少资源……