区块链技术博客
www.b2bchain.cn

面试官:哥们儿,你做过linux服务器间的文件搬运程序么?

这篇文章主要介绍了面试官:哥们儿,你做过linux服务器间的文件搬运程序么?的讲解,通过具体代码实例进行19745 讲解,并且分析了面试官:哥们儿,你做过linux服务器间的文件搬运程序么?的详细步骤与相关技巧,需要的朋友可以参考下https://www.b2bchain.cn/?p=19745

本文实例讲述了2、树莓派设置连接WiFi,开启VNC等等的讲解。分享给大家供大家参考文章查询地址https://www.b2bchain.cn/7039.html。具体如下:

目录

  • linux文件搬运
    • 目的
    • 过程简介
      • 准备工作:
      • 流程介绍:
    • 实践方法
      • 免密协议搭建:
        • 1.建立A、B服务器的公钥私钥
        • 2.建立A、B服务器的免密:
        • 免密详细流程说明:
      • 编写搬运脚本(三种方式):
        • 1:Scp传输(适用于少量文件,如千级以下)
        • 2:rsync传输(适用于大量文件传输)
        • 3:expect传输(适用于大量文件传输)
          • 安装expect步骤:
    • 总结

linux文件搬运

目的

解决linux服务器间的数据、文件搬运和免密登录等问题;
从多种业务环境入手,以不同方式实现服务器间的文件传输;

过程简介

准备工作:

1.保证服务器之间的正常通信(可以ping通),ping不同一般出现在服务器处于不同网段或防火墙未关闭;
防火墙关闭方式:

service iptables stop  (仅关闭防火墙) chkconfig iptables off  (关闭防火墙及相关服务) iptables -F (清除防火墙规则) 

使用 iptables -F 前请先阅读如何关闭防火墙及清除防火墙策略

流程介绍:

此处以服务器A、服务器B(文件传输方向 A → B)为例;

服务器A:192.168.101.40
服务器A:192.168.101.90

1.建立服务器A、服务器B间的免密协议;
通常我们通过scp、rsync、ssh等方式连接时,时需要输入被访问服务器密码的,做免密协议就是建立互信,以后不再输入密码。

2.编写搬运shell脚本(.sh);
将我们需要传输的相关命令写入脚本,附上权限方便手动或定时器调用。

3.编辑linux自带定时器(crontab);
通过linux定时器触发,去调用shell搬运脚本进行日常搬运工作。

实践方法

免密协议搭建:

网络上免密搭建的方式普遍比较复杂,且很多不好使,这里我记录一下我的建立免密方式。至于sshd的环境搭建现在linux一般都会自带了,此处不再赘述。

1.建立A、B服务器的公钥私钥

先确定本机是否已有,如果输入ls ~/.ssh/ 命令后.ssh文件夹没有id_rsa、id_rsa.pub文件,则需要给该服务器初始化一个公钥和私钥;
面试官:哥们儿,你做过linux服务器间的文件搬运程序么?
初始化公钥和私钥命令:ssh-******
然后连点三下回车即可(自动设置rsa密码为空);
面试官:哥们儿,你做过linux服务器间的文件搬运程序么?

2.建立A、B服务器的免密:

在服务器A输入命令:
ssh-copy-id -i ~/.ssh/id_rsa.pub 服务器B的IP
例如:ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90
面试官:哥们儿,你做过linux服务器间的文件搬运程序么?
完成建立免密后,测试ssh访问,ssh B服务器IP,不用输入密码,说明OK。
面试官:哥们儿,你做过linux服务器间的文件搬运程序么?

免密详细流程说明:

思路:我们给服务器建立免密是通过rsa协议配置,我们使用/usr/bin/ssh-******命令在ServerA上生成私钥(id_rsa)跟公钥(id_rsa.pub),将生成的公钥(/.ssh/id_rsa.pub)内容追加到远程机器ServerB上的公钥箱(/.ssh/authorized_keys)后,就可以使用ssh等命令无需密码登录到另外一台机器ServerB上。如果需要相互免密,同理将serverB上的公钥(/.ssh/id_rsa.pub)内容追加到远程机器ServerA上的公钥(/.ssh/authorized_keys)中即可;另外,使用ssh-******并不能生成自动~/.ssh/authorized_keys文件,因此这个文件我们手动加上,并且在修改内容后赋权限:chmod 600 ~/.ssh/authorized_keys
(敲黑板!!),这么做就可以让serverA拿着自己的公钥去远程请求serverB时,跟serverB的公钥匹配一下,如果一致就说明俩人是亲兄弟,不用输密码了。懂我意思吧。

以上一段话基本简化成上方一句命令:ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.101.90

编写搬运脚本(三种方式):

1:Scp传输(适用于少量文件,如千级以下)

脚本内容说明:
通过linux的scp远程传输命令,将服务器A(192.168.101.40)指定(/home/data/)路径的文件传输到服务器B(192.168.101.90)指定(/home/data/)路径下,然后用rm -r将A服务器指定(/home/data/)路径下的文件删除;

记得给脚本(scp_send90.sh)附上执行属性 chmod 777 scp_send90.sh
贴代码~

#!/bin/bash #将服务器A(192.168.101.40)指定(/home/data/)路径的文件传输到服务器B(192.168.101.90) #指定(/home/data/)路径下 scp -r /home/data/* [email protected]:/home/data/ #rm -r将A服务器指定(/home/data/)路径下的文件删除 rm -r /home/data/*  

2:rsync传输(适用于大量文件传输)

scp传输缺点:

1.搬运慢
2.有时候删除不掉

原因:原本使用的搬运(scp -r)程序原理是一个一个文件搬,效率低,并且删除用rm -rf命令 在文件数量大于一定上限时(实际项目操作中2000个txt文件就会删除失败,抛出list too much)会删除失败;SO,我们使用了半年的搬运程序是存在很大问题的,赶紧处理—>

升级后的程序:
引入了linux中的rsync同步命令,无论在搬运还是删除方面,都是相对最优的,一开始优化时我们使用了强制删除find . -name “*” -exec rm {} ; -print 方式;但是强制删除存在许多不安全因素。

 后来我们发现了一种效率更高的方法,原理类似于 echo “” xxx.txt ;没错,就是重定向! 

如下图,删除公式的含义为:将A服务器 /home/data/文件夹下的文件同步到/home/clear/文件夹下,然后重定向清空/home/clear/文件夹下的同步内容,这里/home/clear/文件夹充当垃圾桶的角色。

命令:rsync -a --delete /home/clear/ /home/data/ 

后来就有了图中简洁明了的.sh脚本(注意明确文件夹名后面的“/”),错误日志记录都不需要咯。

记得给脚本(rsync_send90.sh)附上执行属性 chmod 777 rsync_send90.sh

#!/bin/bash /usr/bin/rsync /home/data/* [email protected]:/home/data/  /usr/bin/rsync -a --delete /home/clear/ /home/data/  

3:expect传输(适用于大量文件传输)

场景重现:我的服务器之间已经做了免密,但是ssh时仍然需要输入密码?

这种问题有两种可能:
1.该服务器属于特殊服务器,在防火墙规则或策略上专门有人配置过;
2.免密没有做好;

这里在提供一种模拟键盘输入的方式,但步骤稍微多一些,大家根据需求来吧。
下面是脚本源码:

#!/bin/bash #/usr/bin/rsync [email protected]:/home/0912data/* /home/0912data/ #传输命令,如果遇到让输入密码的话的,模拟输入 expect -c "  spawn rsync /home/0912data/* [email protected]:/home/0912demo/ expect {  "*assword" {set timeout 3000; send "passwordr";}  "yes/no" {send "yesr"; exp_continue;}  }  expect eof" #删除命令,如果遇到让输入密码的话的,模拟输入 expect -c " spawn rsync -a --delete /home/clear/ /home/data/ expect {  "*assword" {set timeout 3000; send "passwordr";}  "yes/no" {send "yesr"; exp_continue;}  }  expect eof"   

但是expect这个工具linux并没有自带,所以我们要安装一下

安装expect步骤:

1.1 yum 安装
  yum安装就比较简单了,直接运行yum install expect就可以了.

yum  install expect 

1.2 源码安装
  源码安装前我们需要安装unzip和gcc

yum  install  unzip gcc -y 

源码安装我们需要下载两个源码包。tcl源码包和expect源码包。
下载tcl源码包

cd /tmp &&wget  http://core.tcl.tk/tcl/zip/release/tcl.zip 

下载expect源码包

wget https://jaist.dl.sourceforge.net/project/expect/Expect/5.45.3/expect5.45.3.tar.gz 

我们需要先编译安装tcl,因为expect包依赖于tcl。
解压压缩包并编译安装tcl

unzip tcl.zip && cd ./tcl/unix  ./configure && make && make install 

解压压缩包并编译安装expect.

cd /tmp && tar -xzvf expect5.45.3.tar.gz && cd expect5.45.3/  ./configure && make && make install 

检查是否安装好(显示安装好的版本号就是已经安装好了)并创建软链接。

expect -v  [[email protected] shell]# expect -vexpect version 5.45.3 [[email protected] shell]# ln -s /usr/local/bin/expect  /usr/bin/expect 

总结

我们通过以上方式可以有效的对服务器数据搬运进行操作,linux搬运的方式市面上有很多种,有简单的脚本搬运和复杂的文件管理系统,还是要根据我们的实际情况来进行选择。

不能开会听产品如何造航母,会后自己造的小船都漏水~

上面方式是我接触到的几种搬运方法,如果兄弟们有更有效或简单地搬运方式方法,请在下方留言。

本文转自互联网,侵权联系删除面试官:哥们儿,你做过linux服务器间的文件搬运程序么?

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 面试官:哥们儿,你做过linux服务器间的文件搬运程序么?
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们