技术解析

脚本算法求解,备份轮替
0
2021-06-19 02:08:29
idczone
磁盘有 30Gb 的容量,有一份数据要进行备份,假设每天备份的容量是 1Gb,备份 30 天后磁盘空间满了,在后面每天都新增备份的情况下,要进行轮替,删除旧备份
轮替规则是最近 10 份数据每天 1 份,最近的 11-20 份数据每 2 天 1 份,最近的 21-30 份的数据每 4 天 1 份
如何编写脚本,python 或者 shell
也就是大概要保留 7 多天的历史数据

也就是大概要保留 70 多天的历史数据

把备份日期放到备份文件名里,比如 backup-20210617.gz ,然后循环一把梭:
先取当天时间戳 time 减去 10 天秒数,然后循环 20 次,每次减 1 天秒数,就是从 11 天前循环到 30 天前。
循环的代码,判断当前时间的日期有没有备份文件,没有就直接 next,如果有就指定后续间隔次数,在前 10 次是 next+1,就是间隔一次,在后 10 次是 next+3,就是间隔三次,间隔期间的日期如果有对应文件就删除。

压缩一下
可以保存大概 10 倍

轮询删除加压缩,可以存很多

文档压缩才有这么高的压缩比吧,要是其他格式就难说,二进制的就直接压缩后几乎没变化

为啥不直接用系统的 logrotate 呢

sorry, 我默认他说的是日志......
视频音频应该远大于 30g 吧

logrotate 只能设置每天保存或者每几天保存,不能设置近的每天保存远的每周保存这样的

是吗?

因为刚好是 1-2-4,所有有个简单的解法;
设 A,B,C 三个数据集,每个容量为 10 ;
前一个溢出的,逢单抛掉,逢双压入下一级;

我的解法:
1 、计算出要保留的天数 1*10+2*20+3*10 =70,如果备份日期在 70 天前的删除
2 、从最早循环每个文件名
如果在 30 至 70 天前的,计算出总数,大于 11 份的,循环删掉相差小于 4 天最早的;(删除后 break,每天只删除 1 份)
如果在 10 至 30 天前的,计算出总数,大于 11 份的,循环删掉相差小于 2 天最早的;(删除后 break,每天只删除 1 份)
一个大循环(循环文件)+3 个小循环(判断相差天数)+若干判断(备份数,大于 11 份等)

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服