rsync
rsync
远程数据同步工具
补充说明
rsync命令 是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。 rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。
语法
1 | rsync [OPTION]... SRC DEST |
对应于以上六种命令格式,rsync有六种不同的工作模式:
- 拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。如:
rsync -a /data /backup - 使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。如:
rsync -avz *.c foo:src - 使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。如:
rsync -avz foo:src/bar /data - 从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。如:
rsync -av root@192.168.78.192::www /databack - 从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。如:
rsync -av /databack root@192.168.78.192::www - 列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:
rsync -v rsync://192.168.78.192/www
选项
1 | -v, --verbose 详细模式输出。 |
实例
SSH方式
首先在服务端启动ssh服务:
1 | service sshd start |
使用rsync进行同步
接下来就可以在客户端使用rsync命令来备份服务端上的数据了,SSH方式是通过系统用户来进行备份的,如下:
1 | rsync -vzrtopg --progress -e ssh --delete work@172.16.78.192:/www/* /databack/experiment/rsync |
上面的信息描述了整个的备份过程,以及总共备份数据的大小。
后台服务方式
启动rsync服务,编辑/etc/xinetd.d/rsync文件,将其中的disable=yes改为disable=no,并重启xinetd服务,如下:
1 | vi /etc/xinetd.d/rsync |
1 | /etc/init.d/xinetd restart |
创建配置文件,默认安装好rsync程序后,并不会自动创建rsync的主配置文件,需要手工来创建,其主配置文件为“/etc/rsyncd.conf”,创建该文件并插入如下内容:
1 | vi /etc/rsyncd.conf |
创建密码文件,采用这种方式不能使用系统用户对客户端进行认证,所以需要创建一个密码文件,其格式为“username:password”,用户名可以和密码可以随便定义,最好不要和系统帐户一致,同时要把创建的密码文件权限设置为600,这在前面的模块参数做了详细介绍。
1 | echo "work:abc123" > /etc/rsyncd.passwd |
备份,完成以上工作,现在就可以对数据进行备份了,如下:
1 | rsync -avz --progress --delete work@172.16.78.192::www /databack/experiment/rsync |
恢复,当服务器的数据出现问题时,那么这时就需要通过客户端的数据对服务端进行恢复,但前提是服务端允许客户端有写入权限,否则也不能在客户端直接对服务端进行恢复,使用rsync对数据进行恢复的方法如下:
1 | rsync -avz --progress /databack/experiment/rsync/ work@172.16.78.192::www |
将源目录同步到目标目录
1 | rsync -r source destination |
上面命令中,-r 表示递归,即包含子目录。注意,-r是必须的,否则 rsync 运行不会成功。source 目录表示源目录,destination 表示目标目录。
多个文件或目录同步
1 | rsync -r source1 source2 destination |
上面命令中,source1、source2 都会被同步到 destination 目录。
同步元信息
-a 参数可以替代 -r,除了可以递归同步以外,还可以同步元信息(比如修改时间、权限等)。由于 rsync 默认使用文件大小和修改时间决定文件是否需要更新,所以 -a 比 -r 更有用。下面的用法才是常见的写法。
1 | rsync -a source destination |
目标目录 destination 如果不存在,rsync 会自动创建。执行上面的命令后,源目录 source 被完整地复制到了目标目录 destination 下面,即形成了 destination/source 的目录结构。
如果只想同步源目录 source 里面的内容到目标目录 destination ,则需要在源目录后面加上斜杠。
1 | rsync -a source/ destination |
上面命令执行后,source 目录里面的内容,就都被复制到了 destination 目录里面,并不会在 destination 下面创建一个 source 子目录。
模拟执行的结果
如果不确定 rsync 执行后会产生什么结果,可以先用 -n 或 --dry-run 参数模拟执行的结果。
1 | rsync -anv source/ destination |
上面命令中,-n 参数模拟命令执行的结果,并不真的执行命令。-v 参数则是将结果输出到终端,这样就可以看到哪些内容会被同步。
目标目录成为源目录的镜像副本
默认情况下,rsync 只确保源目录的所有内容(明确排除的文件除外)都复制到目标目录。它不会使两个目录保持相同,并且不会删除文件。如果要使得目标目录成为源目录的镜像副本,则必须使用 --delete 参数,这将删除只存在于目标目录、不存在于源目录的文件。
1 | rsync -av --delete source/ destination |
上面命令中,--delete 参数会使得 destination 成为 source 的一个镜像。
排除文件
有时,我们希望同步时排除某些文件或目录,这时可以用–exclude参数指定排除模式。
1 | rsync -av --exclude='*.txt' source/ destination |
上面命令排除了所有 TXT 文件。
注意,rsync 会同步以”点”开头的隐藏文件,如果要排除隐藏文件,可以这样写 --exclude=".*"。
如果要排除某个目录里面的所有文件,但不希望排除目录本身,可以写成下面这样。
1 | rsync -av --exclude 'dir1/*' source/ destination |
多个排除模式,可以用多个 --exclude 参数。
1 | rsync -av --exclude 'file1.txt' --exclude 'dir1/*' source/ destination |
多个排除模式也可以利用 Bash 的大扩号的扩展功能,只用一个 --exclude 参数。
1 | rsync -av --exclude={'file1.txt','dir1/*'} source/ destination |
如果排除模式很多,可以将它们写入一个文件,每个模式一行,然后用 --exclude-from 参数指定这个文件。
1 | rsync -av --exclude-from='exclude-file.txt' source/ destination |
指定必须同步的文件模式
--include 参数用来指定必须同步的文件模式,往往与 --exclude 结合使用。
1 | rsync -av --include="*.txt" --exclude='*' source/ destination |
上面命令指定同步时,排除所有文件,但是会包括 TXT 文件。
网络教程
1简介
1.1 认识
Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快;
Rsync支持大多数的类Unix系统,无论是Linux、Solaris还是BSD上都经过了良好的测试;
此外,它在windows平台下也有相应的版本,如cwRsync和Sync2NAS等工具
1.2 原理
Rsync本来是用于替代rcp的一个工具,目前由http://rsync.samba.org维护,所以rsync.conf文件的格式类似于samba的主配 置文件;
Rsync可以通过rsh或ssh使用,也能以daemon模式去运行
在以daemon方式运行时Rsync server会打开一个873 端口,等待客户端去连接。
连接时,Rsync server会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,以后则就只需进行增量备份。
1.3 特点
- 可以镜像保存整个目录树和文件系统;
- 可以很容易做到保持原来文件的权限、时间、软硬链接等;
- 无须特殊权限即可安装;
- 优化的流程,文件传输效率高;
- 可以使用rsh、ssh等方式来传输文件,当然也可以通过直接的socket连接;
- 支持匿名传输
2 ssh模式
2.1 本地间同步
环境: 172.16.22.12
1 | # mkdir src |
2.2、局域网间同步
环境: 172.16.22.11
1 | # mkdir src |
2.3、局域网指定用户同步
—172.16.22.12
1 | # useradd george |
—172.16.22.11
1 | # rsync -av src '-e ssh -l george' 172.16.22.12:/home/george --本地同步至远程 |
3 daemon模式
环境:192.168.22.11
3.1、服务启动方式
- 对于负荷较重的 rsync 服务器应该使用独立运行方式
1 | # yum install rsync xinetd --服务安装 |
- 对于负荷较轻的 rsync 服务器可以使用 xinetd 运行方式
1 | # yum install rsync xinetd --服务安装 |
3.2、配置详解
两种 rsync 服务运行方式都需要配置 rsyncd.conf,其格式类似于 samba 的主配置文件
全局参数
- 在全局参数部分也可以定义模块参数,这时该参数的值就是所有模块的默认值
- address —在独立运行时,用于指定的服务器运行的 IP 地址;由 xinetd 运行时将忽略此参数,使用命令行上的 –address 选项替代。默认本地所有IP
- port —指定 rsync 守护进程监听的端口号。 由 xinetd 运行时将忽略此参数,使用命令行上的 –port 选项替代。默认 873
- motd file —指定一个消息文件,当客户连接服务器时该文件的内容显示给客户
- pid file —rsync 的守护进程将其 PID 写入指定的文件
- log file —指定 rsync 守护进程的日志文件,而不将日志发送给 syslog
- syslog facility —指定 rsync 发送日志消息给 syslog 时的消息级别
- socket options —指定自定义 TCP 选项
- lockfile —指定rsync的锁文件存放路径
- timeout = 600 —超时时间
模块参数
模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式,这个名字就是在 rsync 客户端看到的名字,类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的
基本模块参数
- path —指定当前模块在 rsync 服务器上的同步路径,该参数是必须指定的
- comment —给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户
模块控制参数
- use chroot = —默认为 true,在传输文件之前首先 chroot 到 path 参数所指定的目录下;优点,安全;缺点,需要 root 权限,不能备份指向 path 外部的符号连接所指向的目录文件
- uid = —指定该模块以指定的 UID 传输文件;默认nobody
- gid = —指定该模块以指定的 GID 传输文件;默认nobody
- max connections —最大并发连接数,0为不限制
- lock file —指定支持 max connections 参数的锁文件。默认 /var/run/rsyncd.lock
- list —指定当客户请求列出可以使用的模块列表时,该模块是否应该被列出。默认为 true,显示
- read only = —只读选择,也就是说,不让客户端上传文件到服务器上。默认true
- write only = —只写选择,也就是说,不让客户端从服务器上下载文件。默认false
- ignore errors —忽略IO错误。默认true
- ignore nonreadable —指定 rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些不应该被备份者获得的文件时是有意义的。 false
- timeout = —该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。对于匿名 rsync 服务器来说,理想的数字是 600(单位为秒)。 0 (未限制)
- dont compress —用来指定那些在传输之前不进行压缩处理的文件。该选项可以定义一些不允许客户对该模块使用的命令选项列表。必须使用选项全名,而不能是简称。当发生拒绝某个选项的情况时,服务器将报告错误信息然后退出。例如,要防止使用压缩,应该是:”dont compress = ”。 .gz .tgz .zip .z .rpm .deb .iso .bz2 .tbz
模块文件筛选参数
- exclude —指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式
- exclude from —指定一个包含 exclude 规则定义的文件名,服务器从该文件中读取 exclude 列表定义
- include —指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式
- include from —指定一个包含 include 规则定义的文件名,服务器从该文件中读取 include 列表定义
模块用户认证参数
- auth users —指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块(和系统用户没有任何关系)。用户名和口令以明文方式存放在 secrets file 参数指定的文件中。默认为匿名方式
- secrets file —指定一个 rsync 认证口令文件。只有在 auth users 被定义时,该文件才起作用。文件权限必须是 600
- strict modes —指定是否监测口令文件的权限。为 true 则口令文件只能被 rsync 服务器运行身份的用户访问,其他任何用户不可以访问该文件。默认为true
模块访问控制参数
- hosts allow —用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。默认值为 *
- hosts deny —用一个主机列表指定哪些主机客户不允许连接该模块
模块日志参数
- transfer logging —使 rsync 服务器将传输操作记录到传输日志文件。默认值为false
- log format —指定传输日志文件的字段。默认为:”%o %h [%a] %m (%u) %f %l”
- 设置了”log file”参数时,在日志每行的开始会添加”%t [%p]“;
- 可以使用的日志格式定义符如下所示:
1 | %o —操作类型:”send” 或 “recv” |
3.3、服务端配置
- 编辑配置文件
1 | # vim /etc/rsyncd.conf --为 rsyncd 服务编辑配置文件,默认没有,需自己编辑 |
- 配置文件说明
1 | uid = root —rsync运行权限为root |
- 构建备份目录
1 | # mkdir /data/test/src --创建基础目录 |
4 测试
4.1、客户端
环境:192.168.22.12
1 | # yum -y install rsync |
4.2、小试参数
1 | # rsync -avzP web@192.168.22.11::web1 /data/test/ --输入密码 123 |
将服务器 web1 模块里的文件同步至 /data/test,参数说明:
1 | -a —参数,相当于-rlptgoD, |
1 | # rsync -avzP --delete web@192.168.22.11::web1 /data/test/ --让客户端与服务器保持完全一致, --delete |
4.3、通过密码文件同步
1 | # echo "123"> /tmp/rsync.password |
4.4、客户端自动同步
1 | # crontab -e |
5 数据实时同步
环境:Rsync + Inotify-tools
5.1、inotify-tools
- 是为linux下 inotify文件监控工具提供的一套c的开发接口库函数,同时还提供了一系列的命令行工具,这些工具可以用来监控文件系统的事件
- inotify-tools是用c编写的,除了要求内核支持 inotify 外,不依赖于其他
- inotify-tools提供两种工具:一是inotifywait,它是用来监控文件或目录的变化,二是inotifywatch,它是用来统计文件系统访问的次数
5.2、安装inotify-tools
下载地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
1 | # yum install –y gcc --安装依赖 |
3、设置环境变量
1 | # vim /root/.bash_profile |
5.4、常用参数
1 | -m —始终保持监听状态,默认触发事件即退出 |
5.5、测试一
检测源目录中是否有如下动作:modify,create,move,delete,attrib;
一旦发生则发布至目标机器;
方式为 ssh
1 | src: 192.168.22.11(Rsync + Inotify-tools) dest: 192.168.22.12 |
两台机器需要做好 ssh 免密登录
1 | # mdkir /data/test/dest/ --dest机器 |
我们可以在目标机上也写一个这样的脚本: rsync -a —delete /data/test/dest/ 192.168.22.11:/data/test/src ;
这样可以实现双向同步。










