分享好友 最新动态首页 最新动态分类 切换频道
es scroll的快照生成原理
2024-12-26 08:26

本章节主要展示如何制作正在运行的集群的快照,之后便可以通过恢复快照 API 恢复或者传输数据。
在本章节,你将学会一下内容:

  • 使用快照生命周期管理(SLM)自动创建和保留快照
  • 手动拍摄快照
  • 监控快照进度
  • 删除或取消快照
  • 备份集群配置文件

本章节还提供了创建集群状态专用快照和在不同时间间隔制作快照的技巧。

  • 想要使用 Kibana的 Snapshot and Restore 功能,你必须具备一下权限:
  • 集群权限:monitor, manage_slm, cluster:admin/snapshot, cluster:admin/repository
  • 索引权限:monitor 索引 all 权限
  • 你只能在具有选定主节点的正在运行的集群上制作快照
  • 快照仓库必须已经在集群上注册并可用
  • 集群的全局元数据必须可读,将进行快照的索引及其原数据也必须可读,确保没有任何阻止读取集群和索引的配置。
  • 每个快照在其仓库必须具备唯一的名字,尝试创建同名快照将失败
  • 快照会自动删除重复数据,你可以频繁创建快照,对存储空间影响不大
  • 每个快照逻辑独立,删除一个快照对其他快照无影响
  • 制作快照会暂停分片的分配移动
  • 制作快照不会阻止索引和其他请求,但快照不包含在其开始后的更改内容
  • 你可以同时拍摄多个快照,集群配置参数限制了快照操作并发数
  • 如果你的快照包含数据流,则它还将包含数据流的支持索引和元数据。你还可以在快照中仅包含特定的支持索引。但是,快照将不会包含数据流的元数据或其他支持索引。
  • 快照可以包括数据流,但不包括特定的支持索引。当你恢复此类数据流时,它将仅包含快照中的支持索引。如果流的原始写入索引不在快照中,则快照中最近的支持索引将成为流的写入索引。

SLM 是定期备份集群最简单的方法,SLM 策略会按照预设计划自动拍摄快照,该策略还可以根据你定义的保留规则删除快照。

SLM 安全

当 ES 安全功能开启时,以下集群权限控制对 SLM 功能的访问:

  • manage_slm
    允许用户执行全部 SLM 操作,包括创建更新策略以及开始和结束策略
  • read_slm
    允许用户执行全部 SLM 只读操作,例如获取策略信息以及检查 SLM 状态
  • cluster:admin/snapshot/*
    允许用户制作或删除任何索引的快照,无论他们是否有索引访问权限

你可以通过 Kibana 来创建管理具备这些权限的角色。
授权一个用户用以创建和管理 SLM 策略和快照,你可以创建一个角色具备和集群权限以及 SLM 历史索引的全部权限,如下所示:

授权一个用户用以 SLM 策略和历史快照的只读操作,你可以创建一个角色具备集群权限以及 SLM 历史索引的权限,如下所示:

创建一个 SLM 策略

在 kibana 上管理 SLM,路径为 Stack Management > Snapshot and Restore > Policies,创建策略可以点击 Create policy
你也可以使用 SLM API 管理 SLM。
以下请求创建一个策略在每天 UTC 时间 1:30 备份集群状态,全部数据流和全部 open 状态的索引:

① 制作快照定时任务采用 Cron 语法
② 快照名称支持 date math 语法,为避免命名冲突,策略会在每个快照后面追加 UUID
③ 配置集群内已注册的快照仓库
④ 配置快照需要备份的数据流和索引,通配符表示快照将包括所有数据流和所有 open 的索引,包括系统索引
⑤ 设置为 true,快照将包含集群状态和 feature states
⑥ 快照保留规则。保留30天,且忽略年龄保留至少5个快照至多50个快照

手动运行 SLM 策略

你可以手动运行 SLM 策略立刻制作一个快照,可以用于测试一个新的策略或者在更新升级前制作一个快照。手动运行策略不影响快照的定时任务。
Kibana 界面可以在 Policies 界面点击 Run Now 按钮执行,或者可以使用 execute SLM policy API 执行:

快照进程在后台运行,监控其运行状态使用 Monitor a snapshot API。

SLM 保留计划

SLM 快照保留计划是集群级别的任务,与策略的快照保留计划是相互独立的。用来控制 SLM 保留任务的运行周期和时间,通过集群设置来配置

要立刻运行集群保留计划,使用 execute SLM retention policy API:

SLM 策略的保留计划仅适用于使用 SLM 创建的快照。其他方式创建的快照不计入策略的保留限制。

快照保留限制

我们建议你在 SLM 策略中配置保留策略,用来删除不再需要的快照。
快照仓库可以安全的扩展到数千个快照,但是为了管理其元数据,大型快照仓库会占用主节点更多内存。快照保留规则确保仓库的元数据不会增长到可能破坏主节点稳定性的大小。

不使用 SLM 策略创建快照,使用 create snapshot API 进行单独创建,快照命名支持 date math。

根据备份数据大小,快照可能需要一段时间才能完成。默认情况下,创建快照 API 仅启动快照进程,该进程在后台运行。要在快照完成之前阻塞客户端,请将参数设置为。

你还可以使用 clone snapshot API 克隆现存的快照。

要监控任何当前正在运行的快照,使用 get snapshot API 带上 参数:

要获取参与任何当前正在运行的快照的每个分片的完整细节,使用 get snapshot status API:

查看 SLM 历史记录

要获取集群 SLM 执行历史记录的更多信息,包括每个 SLM 策略的状态,使用 get SLM stats API。该 API 还会返回有关集群的快照保留任务历史记录的信息。

要获取某一个特定 SLM 策略的执行记录,使用 get SLM policy API,请求回复包括以下内容:

  • 策略计划执行的下一次任务
  • 策略上次成功启动快照过程的时间,成功启动并不能保证快照已完成
  • 上次策略执行失败的时间以及相关的错误

在 Kibana 的 Snapshots 界面点击删除按钮或者使用 delete snapshot API 进行删除:

如果你删除正在制作中的快照,ES 会取消制作它。制作快照进程停止并删除为快照创建的所有文件。删除快照不会删除其他快照使用的文件。

如果你在自己的硬件上运行 ES,我们建议你除了备份快照之外,还需要对每个节点目录中的文件进行定期备份。快照不会备份这些文件。
根据你的设置,其中一些配置文件可能包含敏感数据,例如密码或密钥。如果是这样,请考虑加密您的文件备份。

默认包含集群状态的快照会包含全部功能状态,不包含集群状态的快照也不包含功能状态。
你也可以配置快照进包含特定功能状态,而忽视集群状态。
要获取可用功能的列表,使用 get features API (7.12版本以后功能):

API 返回:

要在快照中包含特定的功能状态,请在 feature_states 数组中指定该功能名称。
例如,以下 SLM 策略仅在其快照中包含 Kibana 和 ES 安全功能的功能状态:

作为功能状态一部分的任何索引或数据流都将显示在快照中。例如,如果你备份 功能状态, 系统索引会显示在 get snapshot API 的回复中,位于 和 内。

一些功能状态包含敏感数据,例如 功能状态包含的系统索引存储了用户名和哈希加密的密码。
为了更好地保护这些数据,请考虑为集群状态的快照创建专用仓库和 SLM 策略。这使您可以严格限制和审核对仓库的访问。
例如,下面的 SLM 策略只备份集群状态,并且策略存储快照到特定的仓库。

① 包含集群状态,默认包含全部功能状态
② 排除常规数据流和索引
如果你为集群状态制作专用快照,则需要从其他快照中排除集群状态和系统索引。例如:

① 排除集群状态,默认排除全部功能状态
② 包含全部数据流和全部 open 的索引,但是排除系统索引和其他以开头的索引

如果你仅使用单个 SLM 策略,可能较难频繁制作快照并以较长时间间隔保留快照。
例如, 每30分钟制作一次快照且最多保留100个快照的 SLM 策略只会保留大约两天的快照。虽然此设置很适合备份最近的修改,但它不能让你恢复前一周或前一个月的数据。
要解决此问题,你可以在一个快照仓库创建多个不同制作计划的 SLM 策略。由于策略保留计划仅针对自身生成的快照,所以它不会删除其他策略创建的快照。
例如,以下策略每小时制作一次快照并且最多保留24个快照,快照最多保留一天:

以下策略在同一仓库内每年夜间制作快照,该策略将其制作的快照保留一个月:

① UTC 时间每天 23:45 制作快照
以下策略在同一快照仓库中创建每月快照,该策略将其制作的快照保留一年:

① UTC 时间每个月1号 23:56 制作快照

最新文章
郭明錤:Apple Intelligence对用户很实用,但对投资人只是锦上添花
在完成大规模界面改版后,设计团队和产品经理必须仔细走查并安排上线,同时要持续监控改版后的用户数据和反馈。本文将分享这一阶段的关键步骤和注意事项,确保用户体验连贯性和多端适配的一致性,同时避免在改版中叠加新功能。上一篇,聊到
网贷自行协商还款成功率有多高?
网贷自行协商还款成功率小编导语随着互联网金融的迅速发展,网贷(网络贷款)已成为许多人获取资金的重要途径。贷款的便利性也伴随而来的是一系列的风险和问,尤其是在借款人面临还款困难时。为了减轻还款压力,许多借款人选择通过自行协商
重点关注:唐山男科医院关注焦点——唐山治疗包皮过长男科医院今日排行
重点关注:唐山男科医院关注焦点——唐山治疗包皮过长男科医院今日排行!男科医院排名:1.唐山唐诚医院,2.唐山前列腺炎医院,3.唐山阳痿早泄医院,4.唐山割包皮医院,5.唐山知名男科医院。在唐山,当男性面临包皮过长的困扰时,唐山唐诚医
长视频三巨头的崛起与影响
在数字媒体时代,长视频内容以其丰富的故事性和视觉冲击力,逐渐成为互联网内容消费的主流,而今,我们称之为“长视频三巨头”的三大平台,以其独特的魅力和影响力,在业界独树一帜,它们不仅改变了视频内容的生产与消费模式,更在文化传播
涡轮车的「涡轮」怎么改?
Author / 酷乐汽车‍在目前电车当道的时代,基本上内燃机车都快变成了稀罕的玩意儿,大排量自吸就更别提了。目前最强的内燃机车,99%都是(混动)的涡轮车,通过合理的(大)排量,用更强的涡轮压榨出更多的动力。目前大量的家用车,都是合
私域电商新趋势:地域粉丝经济的创新实践!商业思维+系统搭建+技术服务
私域电商新趋势:地域粉丝经济的创新实践!商业思维+系统搭建+技术服务前文引言:企业需要一套适合当下消费习惯、技术能力和商业环境的数字化系统,聚合多方资源,形 成企业可持续经营的自营零售平台,帮助企业真正转型“微三云云平台模式
美股盘前必读:三大股指期货走低 Adobe跌逾10%
  【盘前表现】  ()美股讯截至发稿,以蓝筹股为主的道指期货跌0.20%;标普500指数期货跌0.16%;以科技股为主的纳斯达克100指数期货跌0.21%。  热门中概股盘前上扬。  欧洲股市上扬,截止发稿时间,德国DAX指数涨0.12%;法国CAC40
绍兴屋顶漏水维修〈上门免费〉绍兴阳台-窗户-外墙防水补漏
不砸砖、不砸墙;免砸砖防水补漏技术,2小时快速解决漏水问题,超长保修期。漏水维修服务项目:墙面发霉、洗手间渗水、防水施工、下水管周围渗水、外墙渗水、卫生间墙面渗水、卫生间墙面起皮、房顶漏水、屋顶渗水、屋顶漏水、地板下暗管漏水、
苹果手机自动锁屏怎么设置
苹果手机作为现代生活中不可或缺的通讯工具,其丰富的功能和便捷的操作深受用户喜爱。其中,自动锁屏功能不仅有助于保护个人隐私,还能有效节省电量。下面,我们就来详细讲解一下苹果手机自动锁屏的设置方法。首先,打开苹果手机的“设置”
雕塑市场都在什么网站做推广
雕塑市场推广的主要网站1. 淘宝、天猫等电商平台  电商平台是雕塑市场推广的重要阵地。淘宝、天猫等平台拥有庞大的用户基础和完善的交易体系,为雕塑作品的销售和推广提供了便利。许多雕塑艺术家和商家在平台上开设店铺,展示和销售自己
相关文章
推荐文章
发表评论
0评