上周接到一个需求任务,去帮助抢舱位小队优化流程和提升他们的效率。
公司的订舱需求越来越大,需求的舱位产品越来越多,而且每次只给我们几十分钟的准备时间,导致每次匆匆忙忙,人手不足,抢不到舱位则影响公司业务,造成损失,成本和代价都很大。
初步了解,他们原来的流程粗略如下
- 业务部整理出一份舱位需求文件,包含各个条件和参数
- 我们再次将数据整理合并,转化成api需要的数据
- 每有一类产品生成一个python的脚本包,目前参数是人手复制进去代码文件里面,导致效率很低,出错率也高。
- 购买对应数量的服务器,一个一个的把脚本上传上去,并部署
- 运行等待结果……
能看出可以优化的空间很大
第一部分,设计一个前端界面,让业务人员自己去填写各类订舱数据,后台转换合并之后保存到数据库。提交给我们,检查无误后进行下一步操作。
第二部分,读取数据库,自动生成脚本包,推送到服务器部署运行。
第一部分的增删改查,就交给其它前端和后端的小伙伴去完成,我主要负责第二部分。
按照他们的原始需求,生成脚本包,只需要在一个主文件替换所需要的运行参数即可。
替换文件内容的参数,我这里有2个方案,一个使用re库正则表达式去查找替换,另外一个是使用jinja2模板去做渲染。考虑到只是简单的替换,不需要条件控制之类的,还是用正则表达式这个方法。
先去制作一个模板文件,将要替换的地方标记出来。这里我用到${}去标记,例如${company_name},将数据库查询的结果组成字典的格式,去匹配这个标记的值,进行替换。部分参考代码如下图
替换主文件完成之后,与其它运行文件,打包成zip文件。进行下一步的服务器操作。
服务器方面,用到paramiko模板包,进行推送文件,和远程调用命令工作,可以满足这次需求。
推送文件的部分代码如图
因为购买的服务器是小时计算的临时服务器,过时间就会被释放,文件存放这些就不讲究了。
文件上传推送成功后,就是解压操作,然后直接python3运行自己的脚本,完成一个部署流程。考虑到后面会修改脚本参数重新上传运行,所以这里要杀掉原来的进程,防止错误。
建立ssh连接
解压,运行,杀进程相关函数
最后总结,根据模板自动去生成脚本包和部署部分的代码操作其实并不难,一天左右就可以搞下来,而且可以减去人力繁琐的操作和风险,还是具有一定的战略意义。