ElasticSearch的深分页deep paging解决方案 – 个人小站-记录编程知识

ElasticSearch在做搜索应用时，难免会遇到深分页的问题，上一篇文章介绍了ElasticSearch分页的客户端基本用法，本篇文章将结合具体代码示例来说明ElasticSearch分页的具体用法以及深分页的用法。

温馨提示：本博客已经发布小程序，可在微信小程序中搜索”百变码农”，手机上也能看！

1、ElasticSearch分页客户端代码及Java代码示例

现有索引：假设现在需要在student_index索引下的studentInfo类型中搜索学生列表，每页查询2条，分别去查询前3页

（1）客户端命令行实现

a、查询第一页：

GET /student_index/studentInfo/_search?from=0&size=2
或者：
GET /student_index/studentInfo/_search
{
  "from":0,
  "size":2
}

查询结果：

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 1,
    "hits": [
      {
        "_index": "student_index",
        "_type": "studentInfo",
        "_id": "5",
        "_score": 1,
        "_source": {
          "name": "xiaozhang",
          "age": 25,
          "gender": "male"
        }
      },
      {
        "_index": "student_index",
        "_type": "studentInfo",
        "_id": "2",
        "_score": 1,
        "_source": {
          "name": "wb3",
          "age": 24,
          "gender": "male"
        }
      }
    ]
  }
}

b、查询第二页：

GET /student_index/studentInfo/_search?from=2&size=2
或者：
GET /student_index/studentInfo/_search
{
  "from":2,
  "size":2
}

搜索结果：和上述第一页结构类似，此处略。

c、查询第三页：

GET /student_index/studentInfo/_search?from=4&size=2
或者：
GET /student_index/studentInfo/_search
{
   "from":4,
   "size":2
}

搜索结果：和上述结构类似，此处略。

注意：在分页搜索中，结果集中通常需要的数据是total和hits中的列表。返回给客户端的是一个总数量及当前页中的数据列表。

（2）使用JavaAPI实现分页

// 获取查询对象SearchRequestBuilder，使用不同的客户端框架此处不同
SearchRequestBuilder srq = SearchUtils.getSearchRequestBuilder();

// 获取分页的当前页码，通过入参的query对象中传入
int pageNo = query.getPageNo() <= 0 ? 0 : query.getPageNo() - 1;

// 设置其他查询条件，例如：名称，年龄，性别等
srq.setQuery(buildCommonQuery(query));

// 设置分页参数中的起始位置from
srq.setFrom(pageNo * query.getPageSize());

// 设置分页参数中的size，即：每页数据条数
srq.setSize(activityQuery.getPageSize());

// 设置查询的排序规则，没有排序需求可以忽略，此处表示按照年龄倒叙
srq.addSort("age", SortOrder.DESC);

SearchResponse response = srq.execute().actionGet();

// 创建返回结果集
List<ResultInfo> list = new ArrayList<>();

// 从查询的返回结果中获取命中的结果列表，即：上述结果中的hits数组中的内容
SearchHits hits = response.getHits();

// 获取总条数，即分页时需要返回的总数。MySQL中可能需要单独查询该数量
long total = hits.getTotalHits();

// 用来封装查询结果。此处示例使用Map，真正使用时，建议使用一个Info对象，
//  通过对象中的total字段和list字段来封装总数量及数据列表，否则map的key
//  写错之后，将会无法获取到数据。
Map<String,Object> resultMap = new HashMap<>();

// 如果未查到数据，直接返回空列表
if (null == hits || total <= 0) {
    resultMap.put("total", total);
    resultMap.put("list", list);
    return resultMap;
}
// ES返回的hits为一个字符串数组，数组中的每个值为一个文档对应的json字符串
for (SearchHit hit : hits) {
    String source = hit.getSourceAsString();
    // 通过JSON序列化工具类将json传反序列化为对应的对象，ResultInfo中的字段
    //  可以根据需要来确定
    ResultInfo resultInfo = 
                     JsonUtils.fromJson(source, ResultInfo.class);
    list.add(resultInfo);
}
// 封装结果总数
resultMap.put("total", total);
// 封装结果列表
resultMap.put("list", list);
// 返回结果
return resultMap;

2、ElasticSearch的深分页解决方案代码实现

ES默认查询时，当from+size的值大于10000时，将会直接抛出查询异常，如下：

GET student_index/studentInfo/_search
{
  "from":9999,
  "size":10
}

返回结果：

{
  "error": {
    "root_cause": [
      {
        "type": "query_phase_execution_exception",
        "reason": "Result window is too large, from + size must be less than or equal to: [10000] but was [10009]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "student_index",
        "node": "WkuQMAI5T0uCY-EaJr2jEg",
        "reason": {
          "type": "query_phase_execution_exception",
          "reason": "Result window is too large, from + size must be less than or equal to: [10000] but was [10009]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."
        }
      }
    ]
  },
  "status": 500
}

此时，如果业务上无法做限制。则解决方案有如下的三种：

（1）临时针对某个索引修改index.max_result_window参数的值

修改方式如下：

PUT student_index/_settings
{
  "max_result_window":20000
}
// 表示将student_index索引的查询结果集改到20000
//  即：from+size可以大于10000，但是不能大于20000

// 设置完成之后，可以通过如下方式查询是否设置成功
GET student_index/_settings

// 返回结果如下
{
  "student_index": {
    "settings": {
      "index": {
        "number_of_shards": "5",
        "provided_name": "student_index",
        "max_result_window": "20000", // from+size最大值已经被修改
        "creation_date": "1546011977987",
        "number_of_replicas": "1",
        "uuid": "Qsp-Pd7HS_y7-BbR2hgr5g",
        "version": {
          "created": "6030299"
        }
      }
    }
  }
}

注意：该方式可以在紧急情况下解决查询问题，但是不建议使用，因为修改了最大大小之后，按照传统的分页方式向后查询的时候，会越来越慢，调用量如果太大，可能会导致ES查询线程被大量阻塞，最终无法响应客户端的查询请求。

（2）使用scroll实现深分页查询

a、ES客户端查询代码：

每次查询时指定scroll的过期时间，然后在返回结果中会有一个_scroll_id的字符串，在下次查询的时候带着该_scroll_id即可，示例如下：

查询第一页时，指定scroll的过期时间及分页参数：

GET student_index/studentInfo/_search?from=0&size=2&scroll=3m

返回结果：

{
  // 返回的scroll_id
  "_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAKE4FldrdVFNQUk1VDB1Q1ktRWFKcjJqRWcAAAAAAAChOhZXa3VRTUFJNVQwdUNZLUVhSnIyakVnAAAAAAAAoTwWV2t1UU1BSTVUMHVDWS1FYUpyMmpFZwAAAAAAAKE5FldrdVFNQUk1VDB1Q1ktRWFKcjJqRWcAAAAAAAChOxZXa3VRTUFJNVQwdUNZLUVhSnIyakVn",
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 6,
    "max_score": 1,
    "hits": [
      {
        "_index": "student_index",
        "_type": "studentInfo",
        "_id": "5",
        "_score": 1,
        "_source": {
          "name": "xiaozhang",
          "age": 25,
          "gender": "male"
        }
      },
      {
        "_index": "student_index",
        "_type": "studentInfo",
        "_id": "2",
        "_score": 1,
        "_source": {
          "name": "wb3",
          "age": 24,
          "gender": "male"
        }
      }
    ]
  }
}

查询第二页：

GET _search/scroll?scroll=10m&scroll_id=DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAKE4FldrdVFNQUk1VDB1Q1ktRWFKcjJqRWcAAAAAAAChOhZXa3VRTUFJNVQwdUNZLUVhSnIyakVnAAAAAAAAoTwWV2t1UU1BSTVUMHVDWS1FYUpyMmpFZwAAAAAAAKE5FldrdVFNQUk1VDB1Q1ktRWFKcjJqRWcAAAAAAAChOxZXa3VRTUFJNVQwdUNZLUVhSnIyakVn

查询结果：和上述查询第一页时返回的结果类似，此处略。

注意：

① 第一次生成了scroll_id之后，后续的查询都会基于这个scroll_id进行查询，只要是在这个scroll_id的有效期内。过期之后，才会返回一个新的scroll_id，所以在有效期内，使用scroll_id去查询数据时，不需要待index和type，直接根据scroll_id查询即可；

② 没读取一页，都会重新设置scroll_id的有效时间，所以这个scroll_id只需要保证读能够读取完当前页内的数据即可，不需要设置太长时间，大多数情况下1m就够用；

③ 切记，最好不要在大的循环内去重复开启游标，这样会造成内存大量浪费，如果循环次数过大，将会导致ES节点内存占用过大，发生Full GC，进而导致ES节点CPU短时间内迅速飙升；

b、Java代码中使用scroll_id代码示例：

// 获取查询对象SearchRequestBuilder，使用不同的客户端框架此处不同 
SearchRequestBuilder srq = SearchUtils.getSearchRequestBuilder();
// 设置普通查询条件
BoolQueryBuilder qb = boolQuery();
// 设置查询条件
qb.must(QueryBuilders.termQuery("age", query.getAge()));
SearchResponse response = srq
        .setQuery(qb)
        .setSize(size)
        .setScroll(new TimeValue(SCROLL_TIMEOUT)) // 设置游标有效期
        .execute()
        .actionGet();
ResultInfo resultInfo = new ResultInfo();
// 获取查询结果
SearchHits hits = response.getHits();
// 查询到的总数
resultInfo.setTotal(hits.getTotalHits());
// 将查询结果取出来，封装为结果集，放入到resultInfo中
resultInfo.setResult(getResultFromHits(hits));
// 将scrollId放入到返回结果中，在下次调用时传入方法即可.
resultInfo.setScrollId(response.getScrollId());
return resultInfo;

（3）使用search_after实现深分页查询

分页查询商品列表，每页查询2条商品数据：

// 查询第一页，按照ID排序
GET product_index/productInfo/_search
// 返回结果
{
  "size": 2,
  "sort": [
    {
      "id": {
        "order": "asc"
      }
    }
  ]
}


// 查询第二页，需要传入第一页最后一个数据的唯一标识，此处使用的是主键ID
//  这个唯一标识需要确保全局唯一
GET product_index/productInfo/_search
// 返回结果
{
  "size": 2,
  "sort": [
    {
      "id": {
        "order": "asc"
      }
    }
  ],
  "search_after":[2]
}

注意要点：

① search_after的原理就是通过上一页的位置直接查询下一页，所以需要使用一个唯一标识来保证这个位置；

② 在使用searc_after查询时，如果手动传入from参数，from参数的值必须为0或者-1，否则会抛出如下的异常：

{
  "error": {
    "root_cause": [
      {
        "type": "search_context_exception",
        "reason": "`from` parameter must be set to 0 when `search_after` is used."
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "product_index",
        "node": "WkuQMAI5T0uCY-EaJr2jEg",
        "reason": {
          "type": "search_context_exception",
          "reason": "`from` parameter must be set to 0 when `search_after` is used."
        }
      }
    ]
  },
  "status": 500
}

至此，ElasticSearch的深分页问题及对应的解决方案代码示例介绍完毕，欢迎转发！

温馨提示：如果小程序端代码显示混乱，是因为移动端兼容性导致，可移步至PC端站点查看！

文章属于原创，如果转发请标注文章来源：个人小站【www.jinnianshizhunian.vip】

ElasticSearch深分页问题, ES如何使用scroll查询数据, ES深分页导致的OOM, ES深分页的影响, ES深分页解决方案, ES游标查询代码实现, ES的deep paging问题及解决方案, ES的search_after用法, ES的分页查询代码实现, 使用Java API解决ES的深分页

一	二	三	四	五	六	日
« 4月
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30	31