N+1 문제와 해결방법

 

 

N+1 문제란?

N+1 문제는 데이터베이스와 관련된 성능 문제로, 주로 ORMs(Object-Relational Mapping)에서 발생합니다.
이는 한 번의 쿼리로 충분히 데이터를 가져올 수 있음에도 불구하고, 추가적인 데이터를 가져오기 위해 N개의 추가 쿼리가 실행되는 상황을 말합니다.
이로 인해 성능이 저하되고, 특히 데이터가 많아질수록 심각한 병목현상을 일으킬 수 있습니다.

 

---

 

N+1 문제의 예시

상황

다음과 같은 두 개의 테이블이 있다고 가정합니다.

1. Author 테이블

   id	name
   1	John Doe
   2	Jane Smith

2. Book 테이블

   id	title	author_id
   1	Book A	1
   2	Book B	1
   3	Book C	2

 

코드 예시 (Python + SQLAlchemy)

from sqlalchemy.orm import joinedload
from models import Author, Book

# 잘못된 방식: N+1 문제 발생
authors = session.query(Author).all()
for author in authors:
    print(author.name, [book.title for book in author.books])

 

발생한 문제

1. session.query(Author).all()로 Author 테이블의 모든 레코드를 가져옵니다. (1개의 쿼리)
2. 각 Author에 연결된 Book 데이터를 가져오기 위해 N개의 추가 쿼리가 실행됩니다.

예:

SELECT * FROM Author; -- 1개의 쿼리
SELECT * FROM Book WHERE author_id = 1; -- N개의 쿼리 중 첫 번째
SELECT * FROM Book WHERE author_id = 2; -- N개의 쿼리 중 두 번째
...

즉, 총 1 + N개의 쿼리가 실행됩니다.

 

---

 

해결 방법

1. Eager Loading (미리 로딩)

ORM에서 관계를 미리 로딩하여 필요한 데이터를 한 번의 쿼리로 가져올 수 있습니다.

authors = session.query(Author).options(joinedload(Author.books)).all()
for author in authors:
    print(author.name, [book.title for book in author.books])

실행되는 SQL:

SELECT * FROM Author LEFT OUTER JOIN Book ON Author.id = Book.author_id;

 

2. Raw SQL 활용

필요한 데이터를 직접 SQL로 가져옵니다.

query = """
SELECT Author.name, Book.title 
FROM Author 
LEFT JOIN Book ON Author.id = Book.author_id;
"""
result = session.execute(query).fetchall()

for row in result:
    print(row.name, row.title)

 

3. Batch Loading (Batch Query)

데이터를 그룹화하여 가져옵니다.

authors = session.query(Author).all()
author_ids = [author.id for author in authors]
books = session.query(Book).filter(Book.author_id.in_(author_ids)).all()

# Mapping
books_by_author = {}
for book in books:
    if book.author_id not in books_by_author:
        books_by_author[book.author_id] = []
    books_by_author[book.author_id].append(book)

for author in authors:
    print(author.name, books_by_author.get(author.id, []))

 

---

 

N+1 문제를 예방하는 방법

1. ORM의 Lazy Loading 기본 설정 확인
   • 관계 필드의 기본 로딩 전략을 Lazy로 설정하면 N+1 문제가 발생하기 쉽습니다.
2. Eager Loading 활용
   • joinedload, selectinload와 같은 미리 로딩 옵션을 사용합니다.
3. 쿼리 최적화, fetch join사용
   • 필요하지 않은 데이터를 가져오지 않도록 쿼리를 최소화합니다.
   • 직접적인 join을 사용하도록 프레임워크에서 지원하는 옵션을 사용하여 쿼리를 최소화 합니다. JPA에서는 @Query annotation을 사용해서 fetch join하도록 합니다.
4. 프로파일링 도구 사용
   • SQLAlchemy의 echo=True 옵션이나 Django의 django-silk를 사용해 실행되는 SQL 쿼리를 확인합니다.
5. 데이터 접근 패턴 분석
   • N+1 문제는 데이터에 접근하는 방식에서 비롯되므로, 패턴을 분석하고 적절히 조정합니다.