Curator-管理你的Elasticsearch索引

雾都迷城

肝不动了，从自己博客复制一个过来😁

准备工作

我这里以 CentOS 7 为例来进行说明。

安装

官方推荐最简单的安装方式就是使用 pip，没错，这货是 python 写的。

最简化安装的 CentOS，虽然自带了 python，但是没有相关头文件，无法安装 pip，干脆编译安装 python3。既然要编译，先装个开发工具包再说

   yum -y groupinstall 'Development Tools'
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

编译 python3，一定要注意 OpenSSL 支持是不是启用了，否则后面没办法下载各种包了，还需要这些依赖，不安装会报错的（都是试错过后的总结，都是眼泪😢）

   yum -y install openssl openssl-devel zlib zlib-devel libffi-devel
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

下载 python3 的源码包，然后解压编译并执行 configure

   # 下载解压
   wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tar.xz
   tar -Jxf Python-3.7.3.tar.xz
   cd Python-3.7.3/
   # 执行配置
   ./configure
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

执行完 configure 后，注意看 OpenSSL 支持是不是启用了。如图是成功启用的。

后面编译安装

   make
   make install
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

这个时候没有 pip 命令，只有 pip3。不用别名处理了，顺手更新一下 pip 版本，也会自动安装 pip 这个命令

   pip3 install --upgrade pip
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

进入正题，安装 curator

   pip3 install elasticsearch-curator
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

配置

执行 curator 命令时，默认读取的配置文件在 ~/.curator/curator.yml。创建配置文件，内容如下

   ---
   # Remember, leave a key (๐•ᴗ•๐)ty if there is no value.  None will be a string,
   # not a Python "NoneType"
   client:
     # ES 节点列表
     hosts:
       - 10.0.79.14
       - 10.0.79.22
       - 10.0.79.23
       - 10.0.79.24
     port: 9200
     url_prefix:
     use_ssl: False
     certificate:
     client_cert:
     client_key:
     ssl_no_validate: False
     http_auth: username:password
     timeout: 30
     master_only: False

   logging:
     loglevel: INFO
     # logfile 文件(๐•ᴗ•๐)径，一定要保证文件的父级文件夹存在
     logfile: /data/es-curator-log/es-curator.log
     logformat: default
     blacklist: ['elasticsearch', 'urllib3']
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

上面的 http_auth 部分，是用户名和密码，用 : 分隔。更多配置文件写法，参考官方文档

创建任务文件，这里提供一个参考，内容如下。详细信息参考官方文档

   ---
   # Remember, leave a key (๐•ᴗ•๐)ty if there is no value.  None will be a string,
   # not a Python "NoneType"
   #
   # Also remember that all examples have 'disable_action' set to True.  If you
   # want to use this action as a t(๐•ᴗ•๐)late, be sure to set this to False after
   # copying it.
   actions:
     1:
       action: delete_in(๐•ᴗ•๐)es
       descr(๐•ᴗ•๐)ion: >-
         Delete in(๐•ᴗ•๐)es older than 31 days (based on index name), for -pro- in(๐•ᴗ•๐)es.

         删除31天之前的 -pro- 索引
       options:
         ignore_(๐•ᴗ•๐)ty_list: True
         timeout_override: 300
         continue_if_exception: True
         disable_action: False
       filters:
       - filtertype: pattern
         kind: regex
         value: '.*-pro-.*'
         exclude:
       - filtertype: age
         source: name
         direction: older
         timestring: '%Y.%m.%d'
         unit: days
         unit_count: 31
         exclude:
     2:
       action: delete_in(๐•ᴗ•๐)es
       descr(๐•ᴗ•๐)ion: >-
         Delete in(๐•ᴗ•๐)es older than 7 days (based on index name), except -pro- in(๐•ᴗ•๐)es.

         删除7天之前的非 -pro- 索引
       options:
         ignore_(๐•ᴗ•๐)ty_list: True
         timeout_override: 300
         continue_if_exception: True
         disable_action: False
       filters:
       - filtertype: pattern
         kind: regex
         value: '.*-pro-.*'
         exclude: True
       - filtertype: age
         source: name
         direction: older
         timestring: '%Y.%m.%d'
         unit: days
         unit_count: 7
         exclude:
     3:
       action: delete_in(๐•ᴗ•๐)es
       descr(๐•ᴗ•๐)ion: >-
         Delete in(๐•ᴗ•๐)es older than 3 days (based on index name), for system in(๐•ᴗ•๐)es.

         删除3天之前的系统索引
       options:
         ignore_(๐•ᴗ•๐)ty_list: True
         timeout_override: 300
         continue_if_exception: True
         disable_action: False
       filters:
       - filtertype: pattern
         kind: regex
         value: '^\..*-.*'
         exclude:
       - filtertype: age
         source: name
         direction: older
         timestring: '%Y.%m.%d'
         unit: days
         unit_count: 3
         exclude:
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

现在可以使用 --dry-run 参数试运行测试一下（这个参数的作用就是不会真正的去执行，只是模拟）。--config ~/.curator/curator.yml 可省略

   curator --config ~/.curator/curator.yml --dry-run ~/delete_indecies.yml
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }

配置定时任务

先说一下用法，后面再列几篇文章供参考

执行 crontab -e，会自动打开 vim 编辑器
我这里是每隔6个小时执行一次，因此添加一行 0 0,6,12,18 * * * /usr/local/bin/curator ~/delete_indecies.yml
保存后大功告成

参考资料

晓丶玉女

感觉这个论坛里除工作外用得上ES的两只手都数的过来

Thinker

前排先贴个针对圈外人的介绍：https://cloud.tencent.com/developer/article/1590785

Curator 是 Elastic 官方发布的一个管理 Elasticsearch 索引的工具，可以完成许多索引生命周期的管理工作，例如清理创建时间超过7天的索引、每天定时备份指定的索引、定时将索引从热节点迁移至冷节点等等。
一、Curator到底能做什么？

那么curator的功能总结如下：（对索引的管理维护！）
为别名(Alias)添加或移除索引
创建索引
删除索引
关闭索引
删除快照
打开已经关闭的索引
更改分片(๐•ᴗ•๐)由配置
强制合并索引
重建索引(包括从远程的集群)
更改索引每个分片的副本数量
为索引创建快照
从快照还原
rollover in(๐•ᴗ•๐)es(当某个别名指向的实际索引过大的时候，自动将别名指向下一个实际索引)
                    if(window.hljsLoader && !document.currentScr(๐•ᴗ•๐).parentNode.hasAttribute('data-s9e-livepreview-onupdate')) {
                        window.hljsLoader.highlightBlocks(document.currentScr(๐•ᴗ•๐).parentNode);
                    }
                

那么ElasticSearch是什么？https://blog.csdn.net/(๐•ᴗ•๐)untuTouch/article/details/98871531

ElasticSearch是一个分布式的、开源的搜索分析引引擎，它可以处理各种类型的数据，包括文本、数字、地理、结构化和非结构化数据。它基于Apache Lucene开发，提供了简单的RESTful API和无模式的JSON文档存存储数据。它可以在不同平台上运行，支持高速、高效和灵活的搜索和分析功能。
ElasticSearch的主要功能有：
全文搜索：可以对文档中的每个词进行索引和检索，支持多种查询语法和过滤器。
索引管理：可以对文档进行分组、排序、聚合等操作，实现复杂的查询逻辑。
数据分析：可以对文档进行统计、摘要、关联等分析，发现数据中的规律和趋势。
数据可视化：可以将数据以图表或地图的形式展示，增强数据的理解和呈现。
数据安全：可以对文档进行权限控制、加密、审计等操作，保护数据的完整性和隐私。

简单理解就是个数据库，一般是放在服务器上的，终端用户一般接触不到也无需了解。

岁暮凛秋

坏了，这个真的看不懂了

雾都迷城

岁暮凛秋 😉拿给青石大佬，他肯定懂

Feature

所以我用ES的目的是？

雾都迷城

Feature 😁如果用做数据库这样做肯定不行，但如果是做日志索引，定期清理是合理的

道友请留步

对于论坛里的用户群体，是否太过硬核了呢？

雾都迷城

道友请留步高手都是隐藏大佬，像我这么能水的一般都是菜鸡……

大海

丸PT的怎么突然冒出来一个ES 😳
我还以为进错了

雾都迷城

大海
 Arthur
😒非逼我说出来就是不知道写啥了，搬过来凑个数

Arthur

PT站点还需要用到ES吗，不如发个ELK全的

KmKakus

😅看不懂这就郁闷了不过想想这玩意我肯定用不上也就释然了