大流量下的 ElasticSearch 搜索演进

  • 时间:
  • 浏览:0
  • 来源:5分时时彩官网_去哪玩5分时时彩_哪里可以玩5分时时彩

这是泥瓦匠(bysocket.com)的第27篇精华分享

ES (ElasticSearch)是分布式搜索引擎。引擎太晦涩,嘴笨 类事一一另一一两个 MySQL ,一一另一一两个 存储。方便提供下面功能:

  • 近实时搜索
  • 全文检索,底部形态化搜索,统计分析

没办法 存储在 ES 数据哪里来?

答案是数据同步。方法推荐如下:

  1. 数据传输(Data Transmission)是阿里云提供的并算是生活支持RDBMS(关系型数据库)、NoSQL、OLAP等多种数据源之间数据交互的数据服务。【阿里的】

    https://help.aliyun.com/product/26590.html

  2. 有赞亿级订单同步的探索与实践【小弟我呆的小组搞的】

    https://mp.weixin.qq.com/s/33KACMxXkgzZyIL9m6q4YA

回归到 ES 演进

当时在创业公司,同步每次后会全量的,因此深更深更半夜任务跑一下即可。意味着 直接同步往 ES CRUD 数据。

单机伪集群,也须要跑。具体全文检索思路:

  • 基于「短语匹配」并设置最小匹配权重值
  • 哪来的短语,利用 IK 分词器分词
  • 基于 Fiter 实现筛选
  • 基于 Pageable 实现分页排序

具体看我系列 ES 博客和 GitHub。

你这俩 量级预估是 百万 / 千万数据同步和查询。

就只能单机伪集群了,运维层面能正确处理你这俩 量:

  • 多个 ElasticSearch 运行实例(节点 Node)的组合体是 ElasticSearch 集群
  • 通过水平扩容为集群再加更多节点

咋样水平扩容

主分片在索引创建意味着 挑选。读操作须要同去被主分片和副分片正确处理。因此,更多的分片,会拥有更高的吞吐量。自然,须要增加更多的硬件资源支持吞吐量。说明,这里无法提高性能,意味着 每个分片获得的资源会变少。动态调整副本分片数,按需伸缩集群,比如把副本数默认值为 1 增加到 2:

PUT /blogs/_settings
{
"number_of_replicas" : 2
}

基本一一另一一两个 集群 Cluster 含着各个业务搜搜:订单、商品等

一个劲发现一一另一一两个 大现象:

  • A 集群上边的大索引慢查会影响 A 集群的许多小索引。

比如现在同一一另一一两个 订单 索引大了,慢查。影响了许多业务。那不应该呀,咋整?

答案是:物理隔离为多集群:

  • 分为不要 集群:集群订单、集群商品等隔离
  • 多机房支持

往往这就让大现象由来了:业务单点咋样优化升级?

一一另一一两个 索引 project , 存储项目相关的数据。项目的数量级没办法 大,亿量级,万亿量级。那一一另一一两个 大索引的查询啥的后会出现瓶颈。这就让该为什么么优化呢?

正确处理方案:冷热分离;拆分

大索引的拆分,也后会太难。类事分片的路由规则,根据具体业务指定即可。

这里,他们须要定义 50000 个索引,分别名为 project_1、project_2、project_3…

因此在 ES 集群上边架一层简单的 proxy 。上边核心的业务路由规则须要曾经:

project_id 项目自增 ID

index_id 得出来的索引对应的 ID

index_id = project_id % 50000

  • ES proxy 层:做总索引和真正分索引的映射
  • ES 索引配置管理:做索引与业务的映射
  • ES 集群

冷热分离;也是类事的本来 上边状况的数据最热独立集群独立索引。定期从上边删除终态数据。没办法 你这俩 索引数据量少,支持搜搜查询量贼大。何乐而不为。

  • 完 -