[요즘 우아한 백엔드 개발 03] Elasticsearch 카테고리 필터가 느릴 때: integer 대신 keyword 타입으로 term 쿼리하기
정확히 일치하는 값만 찾는 카테고리ID를 integer로 색인하면 term 쿼리가 KD-Tree 기반 PointRangeQuery로 수행돼 느려질 수 있습니다. keyword 타입 필드를 추가해 categoryId.keyword로 term 쿼리하자 역인덱스로 바로 찾는 TermQuery가 수행되어 API 응답 시간이 980ms에서 104ms로 줄었습니다.
검색 성능 개선을 돕는 도구: API 응답값 비교 스크립트와 슬로우 쿼리 수집기
개선 과정을 공유하기 전에, 성능 개선을 돕는 도구들을 먼저 소개하겠습니다.
API 응답값 비교 스크립트
API 서버는 Nginx가 리버스 프록시* 역할을 하여 Spring Boot WebServer로 요청을 전달하고 있습니다. API 응답값 비교 스크립트는 Nginx의 access log를 기반으로 운영 버전 API와 변경 버전 API를 호출하여 응답값의 차이를 검증하는 데 사용됩니다. 이 스크립트는 성능을 개선하고, 대규모 리팩터링과 마이그레이션 작업 등에서 기존 API와 변경된 API의 응답값이 같은지 확인하기 위해 개발되었습니다.
참고 리버스 프록시 : 클라이언트와 서버 사이에서 중개자 역할을 하는 서버
여러 차례의 검색 API의 성능 개선 과정에서 이 스크립트를 이용하여 변경 코드가 응답값에 영향을 주는지 검증하도록 하여 서비스 장애가 발생하지 않고 안전하게 성능을 개선했습니다. 다음 자료를 참고하였습니다.
• netflixtechblog.com/migrating-critical-traffic-at-scale-with-no-downtime-part-1-ba1c7a1c7835?gi=e21868ba4f39
• netflixtechblog.com/migrating-netflix-to-graphql-safely-8e1e4d4f1e72
슬로우 쿼리 수집기
Nginx의 access.log에는 요청의 응답 시간 Request time이 기록됩니다.
검색 API에서는 응답 시간이 0.7초 이상 소요되는 요청을 슬로우 쿼리*로 간주합니다. 이를 모니터링하여 개선점을 도출했습니다.
$request_time
request processing time in seconds with a milliseconds resolution;
time elapsed between the first bytes were read from the client and
the log write after the last bytes were sent to the client
참고 슬로우 쿼리 : 처리 시간이 설정된 임계값을 초과하는 쿼리
Elasticsearch 카테고리 필터를 걸면 왜 느려질까?
대부분의 커머스 검색에서 제공하는 카테고리 필터링 기능, 검색 결과를 특정 카테고리로 좁혀 볼 수 있게 하는 요청에 레이턴시 지연 현상이 발생했습니다. 특정 카테고리를 필터링하는 경우 검색 API의 요청 파라미터로는 categoryId 값이 들어갑니다(예: categoryId=1000). 검색 API에서는 ES 상품 인덱스에 다음 쿼리를 포함하여 이 카테고리에 대한 상품만을 필터링합니다.
{
"query": {
"bool": {
"filter": [
...
{
"term": {
"categoryId": 1000
}
}
...
]
}
}
}
겉으로 보기에는 문제가 없어 보이는 쿼리입니다. 그러나 카테고리 필터가 있을 때와 없을 때 검색 API의 응답 속도 차이는 매우 큰 편입니다.
• 카테고리 필터가 없는 경우 : 115ms
• 카테고리 필터가 있는 경우 : 980ms
문제 원인 분석 및 해결: integer를 keyword로
원인을 파악해보니 카테고리ID의 필드 타입 설정에 문제가 있었습니다. 카테고리ID 필드는 숫자입니다. integer로 색인을 했는데요. 카테고리ID는 범위 검색을 하는 필드가 아니고 정확하게 일치하는 값을 찾아내는 용도로만 쓰고 있었습니다. keyword로 타입을 변경하고 term 필드로 쿼리가 수행되게 변경했습니다.
개선 결과
카테고리 필터로 인한 슬로우 쿼리는 더 이상 발생하지 않게 되었습니다. 다음은 개선 전후 달라진 내용과 쿼리 예시입니다.
categoryId 필드 타입 개선
이 예시에서 API 응답 시간이 980ms에서 104ms로 크게 감소했습니다.
// 개선 전
{ "term": { "categoryId": 1000 } }
// 개선 후
{ "term": { "categoryId.keyword": 1000 } }
numeric과 keyword 타입은 색인과 term 쿼리가 어떻게 다를까?
numeric, keyword 타입이 내부적으로 어떻게 색인되고 term 쿼리를 수행했을 때 어떻게 데이터를 찾아오게 되는지 조금 더 조사해보았습니다.
numeric·keyword 타입은 어떻게 색인될까?
• numeric(숫자) 타입은 Lucene 내부적으로는 PointValues로 색인합니다. 이는 KD-Tree* 자료구조를 사용하여 저장되어 있다고 합니다.
• keyword 타입은 역인덱스** 타입으로 저장되어 있습니다. 정확하게 일치하는 값으로만 쿼리가 가능합니다.
term 쿼리 프로파일링 결과
Kibana로 다음 쿼리를 프로파일링하면 내부적으로 수행되는 Lucene 쿼리가 다른 것을 확인할 수 있었습니다. 쿼리를 수행한 인덱스의 문서 수는 4천만 건입니다.
{
"query": {
"term": {
"$content.catalogPath0.catalogId": {
"value": 100001
}
}
}
}
integer 타입을 term 쿼리했을 때는 PointRangeQuery가 수행됩니다. 숫자, 날짜 등의 범위 검색에 적합한 쿼리라고 할 수 있습니다. KD-trees를 기반으로 범위 검색을 수행합니다.
참고 KD-Tree : 다차원 공간의 점을 구조화하는 자료구조
참고 역인덱스 : 특정 단어가 어떤 문서에 포함되어 있는지 매핑해 둔 구조
keyword 타입을 term 쿼리했을 때: TermQuery가 수행됩니다. 말 그대로 매칭된 term이 있는지를 찾는 쿼리입니다. keyword 타입은 역색인으로 저장되어 있기 때문에 바로 접근하여 가져옵니다. 단일 값에 대한 검색은 빠르지만 범위 검색은 불가능합니다.
자주 묻는 질문
Q. Elasticsearch에서 숫자 ID를 integer로 색인하면 term 쿼리가 왜 느린가요?
A. numeric 타입은 Lucene 내부에서 KD-Tree 기반 PointValues로 색인되어 term 쿼리도 범위 검색용 PointRangeQuery로 수행됩니다. 4천만 건 인덱스에서 1.076s가 걸렸습니다.
Q. 범위 검색이 필요 없는 ID 필드는 어떤 타입이 좋나요?
A. 정확히 일치하는 값만 찾는다면 keyword 타입이 적합합니다. 역인덱스로 저장되어 TermQuery로 바로 접근하며, 같은 조건에서 30.482ms가 걸렸습니다. 단, 범위 검색은 불가능합니다.
Q. 검색 API를 바꿀 때 응답값이 같은지 어떻게 검증했나요?
A. Nginx access log를 기반으로 운영 버전과 변경 버전 API를 동일한 파라미터로 호출해 diff를 검증하고, 특정 임계치 이상의 diff가 생기면 slack으로 알리는 API 응답값 비교 스크립트를 사용했습니다.
이 글은 《요즘 우아한 백엔드 개발》의 「09 검색 성능 개선을 위한 Elasticsearch 인덱스 구조와 쿼리 최적화 – 성능 개선을 돕는 도구 ~ numeric, keyword 타입 색인/쿼리 비교」 내용을 바탕으로 정리했습니다.
