[고성능] TLB(Translation Lookaside Buffer)와 TLB miss

 

들어가며

오늘은 고성능 시리즈 두 번째인 Translation Lookaside Buffer(TLB)에 대해 알아보겠습니다. 생소할 수도 있는 용어인데, 가상메모리의 페이지 테이블을 참조할 때 사용하는 캐시개념입니다. 먼저 가상메모리의 페이지 교체 알고리즘과 프레임 할당에 관한 포스팅을 보고 오시는 것을 추천드립니다.

페이지 교체 알고리즘과 프레임 할당

 

TLB(Translation Lookaside Buffer)란?

TLB란 CPU가 가상주소(virtual address)를 물리주소(physical address)로 변환할 때 페이지 테이블을 직접 조회하지 않고, 자주 쓰이는 가상페이지 → 물리프레임 매핑을 캐시해 둔 특수한 캐시입니다. 주소 변환에 드는 시간을 획기적으로 줄여 메모리 접근 성능을 개선합니다. 보통 L1-TLB (작고 빠름)와 L2-TLB (크고 느림) 계층을 갖습니다. I-TLB(코드용) / D-TLB(데이터용)로 분리되는 경우가 많습니다.

 

CPU가 메모리에 접근할 때의 흐름

1. CPU가 가상주소로 로드/스토어/실행 요청을 합니다.
2. TLB를 먼저 조회 — TLB hit이면 즉시 물리주소로 접근(very fast).
3. TLB miss이면 하드웨어(또는 소프트웨어)가 페이지 테이블을 워크(page walk) 하여 매핑을 찾습니다.
   • 페이지 테이블에서 매핑이 있으면 TLB에 항목을 넣고(access), 메모리 접근을 진행합니다. (soft TLB miss)
   • 매핑이 없으면 페이지 폴트(page fault) → 커널이 처리(major/minor page fault).
4. 페이지 테이블 워크 자체는 여러 단계(다단계 페이지 테이블)와 메모리 접근을 수반하므로 수백 사이클의 비용이 날 수 있습니다.

 

출처: https://velog.io/@junttang/OS-2.5-MV-5-Memory-Paging-1

 

TLB miss의 비용

1. soft miss (TLB miss but page present)
   • 하드웨어 페이지 워커가 다단계 페이지 테이블을 메모리에서 읽어 매핑을 찾아 TLB에 채웁니다. 수백 사이클 수준입니다(구체값은 CPU/캐시 상태에 따라 다릅니다).
2. hard miss / page fault (page not present)
   • 커널이 페이지를 로드(디스크/페이지 스왑)하면 밀리초 ~ 수십 밀리초 단위의 큰 지연이 발생합니다.(디스크 I/O).
   • 잦은 페이지 폴트는 성능 저하의 원인이 됩니다.
3. 가상화 환경은 nested page walk가 추가되어 비용이 더 큽니다.(더 많은 메모리 접근).

결론: TLB miss는 대체로 캐시 미스보다 더 비싼 경우가 많고, 심하면 전체 응답 시간/지연을 망가트립니다.

 

 

TLB Reach 극대화 전략

1. Hugepage 사용

TLB에 더 큰 페이지를 저장하는 직관적인 방법입니다. 리눅스에서는 /dev/hugepages 라는 공간이 존재합니다. Hugepage를 활용하면 TLB가 커버하는 데이터 양이 증가하여 TLB 미스 횟수를 감소시킬 수 있습니다.

 

• 기본 페이지 크기: 4KB
• Huge Page 크기: 2MB 또는 1GB
• 효과: TLB 엔트리 하나가 커버할 수 있는 주소 공간(TLB reach)이 커짐 → TLB miss율 감소
• 예시 계산
  • 64-entry TLB × 4KB = 256KB reach
  • 64-entry TLB × 2MB = 128MB reach → 512배 증가

리눅스 환경에서 hugepages를 활성화합니다.

# 현재 Hugepage 설정 확인
cat /proc/meminfo | grep Huge

# hugepage 활성화
sudo sysctl -w vm.nr_hugepages=512

# C++ 예시
void* ptr = mmap(NULL, 2*1024*1024, PROT_READ|PROT_WRITE,
                 MAP_PRIVATE|MAP_ANONYMOUS|MAP_HUGETLB, -1, 0);

 

 

2. 메모리 접근 패턴 최적화(Locality 강화)

캐시 지역성 강화 챕터에서도 다뤘던 부분입니다. 메모리의 연속적 접근을 강화합니다.

// BAD: 랜덤 접근 → TLB miss 증가
for (int i : random_indices)
    sum += arr[i];

// GOOD: 연속 접근 → TLB hit 유지
for (int i = 0; i < N; ++i)
    sum += arr[i];

 

3. 페이지 정렬 및 SoA(Structure of Arrays) 사용

이 역시도 캐시 지역성과 같습니다. alignas(64)를 사용하여 캐시 라인과 page 경계에 맞춥니다. 이는 false sharing 뿐만 아니라 cross-page access로 인한 TLB miss를 줄입니다.
그리고 SoA를 통해 불필요한 페이지 접근을 줄입니다.

// BAD
struct Particle { 
	double x, y, z; 
};
std::vector<Particle> p; // AoS

// GOOD
std::vector<double> x, y, z; // SoA

 

4. NUMA(Locality-aware Allocation) 시스템

NUMA는 Non-Uniformed Memory Access(불균일 기억장치 접근)의 약자입니다. CPU 소켓이 하나가 있는 데스크탑이 아니고, 여러개의 CPU 소켓을 가지고 있는 서버에서 메모리에 효과적으로 접근하기 위해서 사용되는 기술입니다. 스레드별 지역 메모리를 유지 시키는 방법입니다. NUMA에 관해서는 추후에 따로 자세히 포스팅을 하겠습니다.

출처: https://bluemoon-1st.tistory.com/85

아래 명령어는 NUMA정책을 컨트롤하는 명령어로써, 각 스레드가 다른 지역의 메모리를 참조하지 않고 내 영역의 메모리를 유지시킵니다.

numactl --cpunodebind=0 --membind=0 ./app

 

 

마치며

우리는 가상 메모리를 통해 메모리를 유연하고 효율적으로 관리합니다. 하지만 물리 메모리보다 큰 메모리를 사용하는 장점이 있는 반면 추가적인 메모리 접근 비용이라는 단점이 있습니다. TLB는 이러한 단점을 해결하기 위한 장치이기 때문에 TLB를 적극적으로 활용하는 것이 고성능 프로세스 개발에 있어서 중요하다고 말씀드리고 싶습니다.