通过 rsync 访问 NCBI FTP
访问 NCBI FTP 服务器上数据的一种鲜为人知的方法是使用 rsync。此方法于 2004 年在此邮件列表帖子中首次提及。
使用 rsync 而不是 ftp 有几个关键优势
- 完全增量下载
- 可恢复下载
- 比 FTP 快
- 仅单个连接,没有 FTP 主动/被动端口问题(例如对 dual-stack lite 很重要,例如参见这篇优秀的德语文章)
通过 rsync 访问服务器简单直接。假设要将 GenBank GSS 文件下载到 genbank 目录,可以使用此命令:
rsync_genbank.sh
rsync --partial --progress -av ftp.ncbi.nlm.nih.gov::genbank/gbgss*.gz genbank/—progress 标志显示详细的进度和下载速度信息,而 —partial 标志允许恢复不完整的文件下载(默认情况下,仅完全完成的)。注意你可以将两个标志组合为 -P 标志
下载(部分)完成后,可以通过简单地重复上面列出的命令将 genbank 目录与 NCBI 目录同步。任何已经完全下载的文件将自动跳过。
如果你想同步定期更新的文件,请记住 rsync 默认只检查文件大小。如果文件已被修改但大小没有改变,rsync 将不会更新文件。要强制检查完整文件,请向命令添加 —checksum 选项。
Check out similar posts by category:
Bioinformatics
If this post helped you, please consider buying me a coffee or donating via PayPal to support research & publishing of new posts on TechOverflow