골든래빗은 더 탁월한 가치를 제공하는 콘텐츠 프로덕션 & 프로바이더 입니다. 골든래빗은 취미, 경제, 수험서, 만화, IT 등 다양한 분야에서 책을 제작하고 있습니다.골든래빗은 더 탁월한 가치를 제공하는 콘텐츠 프로덕션 & 프로바이더 입니다. 골든래빗은 취미, 경제, 수험서, 만화, IT 등 다양한 분야에서 책을 제작하고 있습니다.

[요즘 우아한 백엔드 개발 03] Elasticsearch 카테고리 필터가 느릴 때: integer 대신 keyword 타입으로 term 쿼리하기

2026년 11월 18일조회 5

이 글은 《요즘 우아한 백엔드 개발》에서 발췌했습니다.

요즘 우아한 백엔드 개발

요즘 우아한 백엔드 개발

ISBN 9791124516171지은이 우아한형제들₩26,000
교보문고예스24알라딘

[요즘 우아한 백엔드 개발 03] Elasticsearch 카테고리 필터가 느릴 때: integer 대신 keyword 타입으로 term 쿼리하기

정확히 일치하는 값만 찾는 카테고리ID를 integer로 색인하면 term 쿼리가 KD-Tree 기반 PointRangeQuery로 수행돼 느려질 수 있습니다. keyword 타입 필드를 추가해 categoryId.keyword로 term 쿼리하자 역인덱스로 바로 찾는 TermQuery가 수행되어 API 응답 시간이 980ms에서 104ms로 줄었습니다.

검색 성능 개선을 돕는 도구: API 응답값 비교 스크립트와 슬로우 쿼리 수집기

개선 과정을 공유하기 전에, 성능 개선을 돕는 도구들을 먼저 소개하겠습니다.

API 응답값 비교 스크립트

API 서버는 Nginx가 리버스 프록시* 역할을 하여 Spring Boot WebServer로 요청을 전달하고 있습니다. API 응답값 비교 스크립트는 Nginx의 access log를 기반으로 운영 버전 API와 변경 버전 API를 호출하여 응답값의 차이를 검증하는 데 사용됩니다. 이 스크립트는 성능을 개선하고, 대규모 리팩터링과 마이그레이션 작업 등에서 기존 API와 변경된 API의 응답값이 같은지 확인하기 위해 개발되었습니다.

참고 리버스 프록시 : 클라이언트와 서버 사이에서 중개자 역할을 하는 서버

여러 차례의 검색 API의 성능 개선 과정에서 이 스크립트를 이용하여 변경 코드가 응답값에 영향을 주는지 검증하도록 하여 서비스 장애가 발생하지 않고 안전하게 성능을 개선했습니다. 다음 자료를 참고하였습니다.

• netflixtechblog.com/migrating-critical-traffic-at-scale-with-no-downtime-part-1-ba1c7a1c7835?gi=e21868ba4f39

• netflixtechblog.com/migrating-netflix-to-graphql-safely-8e1e4d4f1e72

슬로우 쿼리 수집기

Nginx의 access.log에는 요청의 응답 시간 Request time이 기록됩니다.

검색 API에서는 응답 시간이 0.7초 이상 소요되는 요청을 슬로우 쿼리*로 간주합니다. 이를 모니터링하여 개선점을 도출했습니다.

$request_time

request processing time in seconds with a milliseconds resolution;

time elapsed between the first bytes were read from the client and

the log write after the last bytes were sent to the client

참고 슬로우 쿼리 : 처리 시간이 설정된 임계값을 초과하는 쿼리

Elasticsearch 카테고리 필터를 걸면 왜 느려질까?

대부분의 커머스 검색에서 제공하는 카테고리 필터링 기능, 검색 결과를 특정 카테고리로 좁혀 볼 수 있게 하는 요청에 레이턴시 지연 현상이 발생했습니다. 특정 카테고리를 필터링하는 경우 검색 API의 요청 파라미터로는 categoryId 값이 들어갑니다(예: categoryId=1000). 검색 API에서는 ES 상품 인덱스에 다음 쿼리를 포함하여 이 카테고리에 대한 상품만을 필터링합니다.

{

"query": {

"bool": {

"filter": [

...

{

"term": {

"categoryId": 1000

}

}

...

]

}

}

}

겉으로 보기에는 문제가 없어 보이는 쿼리입니다. 그러나 카테고리 필터가 있을 때와 없을 때 검색 API의 응답 속도 차이는 매우 큰 편입니다.

• 카테고리 필터가 없는 경우 : 115ms

• 카테고리 필터가 있는 경우 : 980ms

문제 원인 분석 및 해결: integer를 keyword로

원인을 파악해보니 카테고리ID의 필드 타입 설정에 문제가 있었습니다. 카테고리ID 필드는 숫자입니다. integer로 색인을 했는데요. 카테고리ID는 범위 검색을 하는 필드가 아니고 정확하게 일치하는 값을 찾아내는 용도로만 쓰고 있었습니다. keyword로 타입을 변경하고 term 필드로 쿼리가 수행되게 변경했습니다.

개선 결과

카테고리 필터로 인한 슬로우 쿼리는 더 이상 발생하지 않게 되었습니다. 다음은 개선 전후 달라진 내용과 쿼리 예시입니다.

categoryId 필드 타입 개선

이 예시에서 API 응답 시간이 980ms에서 104ms로 크게 감소했습니다.

// 개선 전

{ "term": { "categoryId": 1000 } }

// 개선 후

{ "term": { "categoryId.keyword": 1000 } }

numeric과 keyword 타입은 색인과 term 쿼리가 어떻게 다를까?

numeric, keyword 타입이 내부적으로 어떻게 색인되고 term 쿼리를 수행했을 때 어떻게 데이터를 찾아오게 되는지 조금 더 조사해보았습니다.

numeric·keyword 타입은 어떻게 색인될까?

• numeric(숫자) 타입은 Lucene 내부적으로는 PointValues로 색인합니다. 이는 KD-Tree* 자료구조를 사용하여 저장되어 있다고 합니다.

• keyword 타입은 역인덱스** 타입으로 저장되어 있습니다. 정확하게 일치하는 값으로만 쿼리가 가능합니다.

term 쿼리 프로파일링 결과

Kibana로 다음 쿼리를 프로파일링하면 내부적으로 수행되는 Lucene 쿼리가 다른 것을 확인할 수 있었습니다. 쿼리를 수행한 인덱스의 문서 수는 4천만 건입니다.

{

"query": {

"term": {

"$content.catalogPath0.catalogId": {

"value": 100001

}

}

}

}

integer 타입을 term 쿼리했을 때는 PointRangeQuery가 수행됩니다. 숫자, 날짜 등의 범위 검색에 적합한 쿼리라고 할 수 있습니다. KD-trees를 기반으로 범위 검색을 수행합니다.

참고 KD-Tree : 다차원 공간의 점을 구조화하는 자료구조

참고 역인덱스 : 특정 단어가 어떤 문서에 포함되어 있는지 매핑해 둔 구조

keyword 타입을 term 쿼리했을 때: TermQuery가 수행됩니다. 말 그대로 매칭된 term이 있는지를 찾는 쿼리입니다. keyword 타입은 역색인으로 저장되어 있기 때문에 바로 접근하여 가져옵니다. 단일 값에 대한 검색은 빠르지만 범위 검색은 불가능합니다.

자주 묻는 질문

Q. Elasticsearch에서 숫자 ID를 integer로 색인하면 term 쿼리가 왜 느린가요?

A. numeric 타입은 Lucene 내부에서 KD-Tree 기반 PointValues로 색인되어 term 쿼리도 범위 검색용 PointRangeQuery로 수행됩니다. 4천만 건 인덱스에서 1.076s가 걸렸습니다.

Q. 범위 검색이 필요 없는 ID 필드는 어떤 타입이 좋나요?

A. 정확히 일치하는 값만 찾는다면 keyword 타입이 적합합니다. 역인덱스로 저장되어 TermQuery로 바로 접근하며, 같은 조건에서 30.482ms가 걸렸습니다. 단, 범위 검색은 불가능합니다.

Q. 검색 API를 바꿀 때 응답값이 같은지 어떻게 검증했나요?

A. Nginx access log를 기반으로 운영 버전과 변경 버전 API를 동일한 파라미터로 호출해 diff를 검증하고, 특정 임계치 이상의 diff가 생기면 slack으로 알리는 API 응답값 비교 스크립트를 사용했습니다.

이 글은 《요즘 우아한 백엔드 개발》의 「09 검색 성능 개선을 위한 Elasticsearch 인덱스 구조와 쿼리 최적화 – 성능 개선을 돕는 도구 ~ numeric, keyword 타입 색인/쿼리 비교」 내용을 바탕으로 정리했습니다.

더 읽기

저자 소개

우아한형제들

우아한형제들

우아한형제들은 배달이 일상을 조금 더 행복하게 하도록 오늘도 달리고 있습니다. 평범한 사람들이 모여 비범한 성과를 만들어내는 곳이 될 수 있도록 건강한 조직문화를 만드는 일에 진심을 다합니다. 2016년부터 '우아한형제들 기술블로그'를 운영하며 개발 조직의 성장 과정을 기록하고 있습니다.

《요즘 우아한 백엔드 개발》 자주 묻는 질문

Q.이 책은 어떤 개발자를 위한 책인가요? 백엔드 개발 경험이 없어도 도움이 될까요?

《요즘 우아한 백엔드 개발》은 이제 막 입문서를 뗀 주니어 개발자부터 몇 년 차 실무자까지, 백엔드 개발의 다음 단계를 고민하는 모든 분께 유용한 책입니다. 백엔드 개발 경험이 전혀 없는 분보다는 기본적인 개발 지식을 갖춘 분들에게 더 큰 도움이 될 것입니다. 이 책은 단순히 기술을 설명하는 데 그치지 않고, 우아한형제들 개발자들이 배달의민족과 B마트와 같은 대규모 서비스를 운영하며 실제로 마주했던 문제 상황과 그 해결 과정을 생생하게 담고 있기 때문입니다. 예를 들어, 서비스가 커지면서 발생하는 트래픽 문제, 데이터 정합성 유지, 검색 성능 개선, 외부 연동 처리, 장애 대응 등 실질적인 고민과 트레이드오프 과정을 엿볼 수 있습니다. 따라서 '돌아가는 코드'를 넘어 '버티는 코드'를 만들고 싶은 분들, 즉 실무에서 겪을 수 있는 복잡한 문제들에 대한 통찰력과 해결 과정을 배우고 싶은 분들에게 특히 추천합니다. 결론뿐 아니라 결론에 이르기까지의 맥락과 시행착오가 그대로 담겨 있어, 실제 현업에서 어떻게 의사결정이 이루어지는지 간접 경험하며 실무 감각을 키울 수 있습니다. 백엔드의 다음 단계가 막막하게 느껴진다면, 먼저 그 길을 지나온 사람들의 경험을 통해 빠른 지름길을 찾을 수 있을 것입니다.

Q.카프카, 레디스, 엘라스틱서치 등 특정 기술에 대한 깊이 있는 기술 가이드를 얻을 수 있을까요?

《요즘 우아한 백엔드 개발》은 카프카, 레디스, 엘라스틱서치 등 특정 기술에 대한 깊이 있는 '기술 가이드'보다는, 대규모 서비스 환경에서 이러한 기술들을 '어떤 맥락에서', '어떻게 활용했는지'에 대한 현장 경험과 노하우를 제공하는 책입니다. 예를 들어, 카프카 대신 RDB 기반 큐를 택한 판단 과정, 잘 돌아가던 캐시 코드가 코틀린 record를 Redis에 캐싱하자 역직렬화가 깨진 문제를 어떻게 추적하고 해결했는지, 검색이 느려졌을 때 엘라스틱서치 인덱스를 다시 설계한 과정 등을 다룹니다. 즉, 각 기술의 기본적인 사용법보다는 실제 서비스 운영 중에 발생할 수 있는 문제 상황에서 해당 기술을 어떻게 적용하고 트러블슈팅했는지에 대한 '실전 활용 사례'와 '의사결정 과정'에 초점을 맞추고 있습니다. 깔끔하게 정리된 결론이 아니라, 결론에 이르기까지의 맥락과 시행착오가 그대로 담겨 있어, 기술 자체보다 그 기술을 선택하고 적용한 이유와 과정, 그리고 얻은 교훈을 배우는 데 중점을 둡니다. 따라서 특정 기술의 심층적인 이론이나 사용법을 배우고 싶다면 다른 전문 서적을 참고하는 것이 좋지만, 실제 서비스 환경에서 이러한 기술들이 어떻게 활용되고 문제 해결에 기여하는지 현장감 있는 경험을 얻고 싶다면 《요즘 우아한 백엔드 개발》이 큰 도움이 될 것입니다.

Q.배달의민족 서비스처럼 대규모 트래픽을 처리하는 시스템을 구축할 때 어떤 부분을 고려해야 할까요?

배달의민족과 같이 초당 수십만 건의 배달 주문을 처리하는 대규모 트래픽 시스템을 구축할 때는 단순히 코드를 잘 짜는 것을 넘어, '시스템이 어떻게 버티고 안정적으로 동작할지'에 대한 깊은 고민이 필요합니다. 《요즘 우아한 백엔드 개발》에서는 이러한 고민의 흔적과 해결 과정을 생생하게 보여줍니다. 예를 들어, 어제까지 잘 돌던 API가 트래픽이 몰리자 느려지는 문제, 멀쩡하던 배치가 데이터 정합성을 깨뜨리는 문제, 외부 연동 하나가 전체 서비스를 멈춰 세우는 상황 등을 다룹니다. 책에서는 이러한 문제들을 해결하기 위해 분산 락으로 재고 이관의 정합성을 지키거나, 외부 연동이 서비스에 미치는 영향을 최소화하기 위해 서킷브레이커를 어떻게 적용했는지 등 구체적인 사례를 통해 설명합니다. 또한 C++ 대규모 시스템을 자바로 옮긴 이유나 카프카 대신 RDB 기반 큐를 선택한 판단 등 아키텍처 레벨의 결정과 그 배경도 함께 다룹니다. 이러한 사례들을 통해 대규모 트래픽 처리 시스템을 구축할 때는 확장성, 안정성, 데이터 정합성, 장애 내구성 등을 종합적으로 고려해야 하며, 각 기술 스택의 장단점과 트레이드오프를 이해하고 상황에 맞는 최적의 선택을 하는 것이 중요함을 배울 수 있습니다. 《요즘 우아한 백엔드 개발》을 통해 우아한형제들이 대규모 트래픽 속에서 시스템을 어떻게 견고하게 만들었는지 그 노하우를 엿볼 수 있을 것입니다.

Q.이 책이 우아한형제들 기술 블로그 글들을 모아 놓은 것이라고 들었는데, 블로그 글을 읽는 것과 어떤 차이가 있나요?

《요즘 우아한 백엔드 개발》은 우아한형제들 기술 블로그에 흩어져 있던 글들을 한 권으로 다시 엮은 것은 맞지만, 단순한 블로그 글 모음집 이상의 가치를 제공합니다. 가장 큰 차이점은 '맥락과 흐름'입니다. 블로그 글들은 개별 주제에 집중되어 있지만, 책은 아키텍처 고민부터 대규모 트래픽 처리, 데이터 운영, 비즈니스 성과, AI 실험, 장애 대응까지 여섯 갈래로 묶어 체계적인 흐름 속에서 다양한 문제 해결 과정을 연결하여 보여줍니다. 이를 통해 특정 문제 해결 방식뿐만 아니라, 더 큰 그림 속에서 우아한형제들이 어떤 철학과 접근 방식으로 백엔드 서비스를 발전시켜왔는지 입체적으로 이해할 수 있습니다. 또한, 책으로 엮으면서 코드와 아키텍처 다이어그램, 성과 수치까지 바로 참고할 수 있도록 정리되어 가독성과 학습 효율이 높아졌습니다. 블로그에서 얻기 어려웠던 심층적인 이해와 전체적인 맥락을 파악하는 데 큰 도움이 될 것입니다. 특히 특정 기술이나 문제에 대한 해결책만 제시하는 것이 아니라, 결론에 이르기까지의 판단 과정과 시행착오가 그대로 담겨 있어, 실제 현업에서 마주할 수 있는 상황에 대한 간접 경험을 풍부하게 쌓을 수 있습니다. 《요즘 우아한 백엔드 개발》을 통해 우아한형제들의 축적된 경험을 더욱 효과적으로 습득하고 실무 감각을 키울 수 있습니다.

Q.백엔드 개발자가 데이터 정합성 문제를 해결하는 데 있어서 어떤 노하우를 얻을 수 있나요?

데이터 정합성은 백엔드 개발에서 가장 중요하면서도 까다로운 문제 중 하나입니다. 《요즘 우아한 백엔드 개발》은 이러한 데이터 정합성 문제를 우아한형제들이 실제 서비스에서 어떻게 해결했는지에 대한 생생한 노하우를 제공합니다. 예를 들어, 책에서는 멀쩡하던 배치가 데이터 정합성을 깨뜨리는 상황이나, 재고가 꼬이지 않도록 분산 락을 어디에 걸어야 하는지에 대한 구체적인 고민과 해결 과정을 다룹니다. 분산 환경에서의 데이터 일관성을 유지하는 것은 매우 복잡한데, 이 책은 단순히 '분산 락을 사용하라'고 알려주는 것이 아니라, '왜 분산 락을 선택했으며, 어떤 방식으로 적용했고, 그 과정에서 어떤 어려움이 있었는지'에 대한 의사결정의 맥락과 시행착오를 보여줍니다. 또한 C++로 짜인 대규모 시스템을 자바로 옮기면서 발생한 데이터 관련 이슈나, 카프카 대신 RDB 기반 큐를 택한 판단처럼, 기술 스택 변경이나 아키텍처 설계 단계에서 데이터 정합성을 어떻게 고려했는지도 엿볼 수 있습니다. 이 책을 통해 독자들은 데이터 정합성 문제를 마주했을 때 단순히 특정 기술을 적용하는 것을 넘어, 서비스의 특성과 상황에 맞춰 어떤 대안들을 고려하고 어떤 트레이드오프를 받아들여야 하는지에 대한 통찰력을 얻을 수 있습니다. 《요즘 우아한 백엔드 개발》에서 제시하는 실제 사례들을 통해 여러분의 서비스에 맞는 데이터 정합성 유지 전략을 세우는 데 큰 도움을 받을 수 있을 것입니다.

Q.AI 활용에 대한 내용도 다룬다고 들었는데, 백엔드 개발과 AI는 어떻게 연결되나요?

《요즘 우아한 백엔드 개발》은 백엔드 개발의 핵심 주제들을 다루면서도, 'AI 실험'이라는 섹션을 통해 백엔드 개발과 AI의 접점을 보여줍니다. 현대의 많은 서비스에서 AI는 단순히 데이터 분석이나 추천 시스템에만 국한되지 않고, 서비스의 핵심 기능이나 효율성을 향상시키는 데 중요한 역할을 합니다. 백엔드 개발자는 이러한 AI 모델을 실제 서비스에 연동하고, 대규모 데이터를 처리하여 AI 모델이 학습할 수 있도록 파이프라인을 구축하며, AI 기반 기능을 안정적으로 운영하는 데 필수적인 역할을 합니다. 이 책에서는 우아한형제들이 서비스와 업무 현장에서 AI를 어떻게 실험하고 활용했는지, 특히 백엔드 시스템과의 통합 과정에서 어떤 고민과 해결 과정을 거쳤는지 엿볼 수 있습니다. 예를 들어, AI 모델의 서빙을 위한 인프라 구축, AI 기반 기능의 성능 최적화, 그리고 AI로 인해 발생하는 데이터 처리량 증가에 대한 백엔드 시스템의 대응 등이 포함될 수 있습니다. 비록 AI 자체의 개발 방법론을 깊게 다루기보다는, AI 기술이 서비스에 통합될 때 백엔드 관점에서 어떤 고려사항이 있고 어떻게 대응했는지에 초점을 맞춥니다. 《요즘 우아한 백엔드 개발》을 통해 AI 기술이 실제 서비스에 적용될 때 백엔드 시스템이 어떤 역할을 하며, 어떤 방식으로 지원해야 하는지 실질적인 통찰을 얻을 수 있을 것입니다.

Q.이 책은 장애 대응에 대한 실제 사례를 다루나요? 어떤 교훈을 얻을 수 있을까요?

네, 《요즘 우아한 백엔드 개발》은 '장애 대응' 섹션을 통해 실제 서비스에서 발생했던 장애 사례와 그 해결 과정을 상세하게 다룹니다. 서비스가 커질수록 장애는 피할 수 없는 부분이 되며, 중요한 것은 장애가 발생했을 때 얼마나 빠르게 인지하고, 원인을 분석하며, 복구하고, 재발 방지책을 마련하는가입니다. 이 책에서는 우아한형제들 개발자들이 배달의민족과 B마트를 운영하며 실제로 마주했던 장애 상황, 예를 들어 외부 연동 하나가 전체 서비스를 멈춰 세우는 것과 같은 문제들을 어떻게 극복했는지 생생하게 보여줍니다. 서킷브레이커를 어떻게 끼워 넣어 외부 연동 장애가 전체 서비스로 확산되는 것을 막았는지와 같은 구체적인 해결책뿐만 아니라, 장애 발생 시의 심리적 압박감 속에서 어떤 의사결정을 내리고 문제를 해결했는지에 대한 맥락과 시행착오를 그대로 담고 있습니다. 이를 통해 독자들은 장애 예방을 위한 아키텍처 설계의 중요성, 장애 발생 시 신속한 대응을 위한 모니터링 및 로깅 시스템의 구축, 그리고 사후 분석을 통한 재발 방지 노하우 등을 배울 수 있습니다. 결론만 요약된 글에서는 얻기 어려운, 현장에서의 판단의 과정이 그대로 남아 있어, 실전에서 장애를 마주했을 때 어떻게 대처해야 할지에 대한 실질적인 교훈과 용기를 얻을 수 있을 것입니다. 《요즘 우아한 백엔드 개발》은 단순히 기술적인 해결책을 넘어, 장애를 통해 성장하는 개발 문화와 지혜를 엿볼 수 있는 좋은 기회를 제공합니다.