[고성능] Cache Memory와 Cache locality(캐시 지역성), False sharing(거짓 공유)

 

들어가며

고성능 서비스를 위한 프로젝트의 기본 중에 기본인 Cache(캐시)에 대해 알아보겠습니다. 캐시는 CPU 성능을 극대화 시킬 수 있는 중요한 요소입니다. 프로그램의 Cache hit 확률만 높여줘도 매우 빨라지기 때문에 Cache Memory의 중요도는 높다고 볼 수 있습니다. 그리고 캐시 지역성(Cache Locality)라는 것은 '어떤 데이터가 얼마나 자주 / 연속적으로 접근되느냐'와 관련되어 있습니다. 오늘은 Cache에 대해 심층적으로 파악해봅시다.

 

Cache Memory

프로그램이 실행되고 프로세스가 되어 메인 메모리에 올라와서 운영체제에 의해 실행됩니다. 우리가 사용하는 모든 소프트웨어 작업은 모두 프로그램이기 때문에(심지어 운영체제도) 프로그램 작동 방식을 알아두면 좋습니다. 프로세스는 CPU에 의해 작성해둔 코드를 처리하게 됩니다. 여기서 문제는 CPU와 메모리(RAM)은 물리적으로 떨어져있습니다. 그리고 CPU 연산은 매우 빠릅니다. 그럼 뭐가 문제일까요? CPU가 메모리에서 데이터를 읽어오는 부분이 느리다는 것입니다. CPU에서 연산 1회를 처리하는 속도를 사이클이라고 하는데, 비교적 최근에 출시된 프로세스 기준으로도 메모리에서 데이터를 읽어 오는 것은 40사이클 이상 걸립니다. 즉, RAM에서 데이터를 가져올 때마다 CPU는 40회 이상의 연산할 수 있는 시간을 유휴상태로 보낸다는 뜻입니다.

따라서 CPU개발자들은 이를 보완하기 위해 캐시(Cache)라는 것을 도입합니다. 캐시는 CPU와 근접한 메모리입니다. CPU가 필요한 데이터를 메인메모리가 아닌 Cache 메모리에서 가져오면, 읽기 속도가 현저하게 상승합니다. 그러면 메인메모리의 내용을 모두 캐시 메모리에 넣으면 안될까요? 캐시의 크기는 크지 않습니다. 아무래도 CPU 칩셋 내부에 들어가다보니 CPU와 제일 가까운 캐시는 100KB도 되지 않습니다. 그렇기 때문에 자주 사용되는 데이터만 캐시 메모리에 저장하고 읽고 쓰는 것이 효율적입니다. CPU가 사용하려는 데이터가 캐시 메모리에 있어서 즉시 사용할 수 있는 것을 캐시 히트(Cache hit)라고 합니다. 그리고 우리가 오늘 다뤄볼 내용이 캐시 히트 확률을 높일 수 있는 방법이 됩니다.

 

계층	예시	접근 속도(ns)	비고
L1 Cache	Core별	0.5 ~ 1	매우 작고 빠름
L2 Cache	Core별	2 ~ 4	중간 크기
L3 Cache	공유	10 ~ 20	큰 용량, 여러 코어가 공유
DRAM	Main Memory	60 ~ 120	캐시에 비해 매우 느림

<캐시 메모리 개요>

 

CPU에서 메모리 탐색 순서는 L1 캐시 -> L2 캐시 -> L3 캐시 -> 메인메모리 순입니다. L1 -> L3로 갈수록 느리지만 용량은 커집니다.

 

Cache Locality

캐시의 효율은 데이터가 얼마나 자주 접근되냐에 따라 달라집니다. 이를 지역성이라고 부르는데, 쉽게 얘기하면 캐시 히트 확률에 관련된 용어입니다. 캐시 지역성은 시간 지역성과 공간 지역성으로 나뉩니다.

시간 지역성(Temporal Locality)

한 번 참조된 주소의 내용은 곧 다음에 다시 참조된다는 특성입니다. 우리가 영어를 배울때도 느끼는 것이지만, 사용하는 90%의 단어는 상위 1000개 단어에 국한된다는 것입니다. 즉, 매번 사용하는 것들만 자주 사용한다는 뜻인데, 프로그램에서도 자주 사용되는 데이터는 계속 재사용되기 때문에 이를 캐시화하면 성능을 올릴 수 있다는 뜻입니다. 대표적으로 반복문인 for, while에서 사용하는 조건 변수처럼 한번 참조된 데이터는 또 참조될 가능성이 높다는 것입니다.

공간 지역성(Spatial Locality)

공간 지역성은 데이터 배열에 연속으로 접근할 때 참조된 데이터 근처에 있는 데이터가 재사용될 가능성이 높다는 것입니다. 따라서 우리가 고성능 프로그래밍을 할 때에도 메모리 연속적으로 접근하는 것이 유리하다는 의미가 됩니다.

// c++
// first
int res = 0;
for (int i = 0; i < 10000; i++) {
  for (int j = 0; j < 10000; j++) {
    res += data[j];
  }
}


// second
for (int j = 0; j < 10000; j++) {
  for (int i = 0; i < 10000; i++) {
    res += data[j];
  }
}

위의 경우 first보단 second가 캐시 지역성이 높습니다.second의 경우 10,000회 동안 하나의 데이터에 연속으로 접근하기 때문에 첫 접근을 제외한 나머지 접근이 Cache hit되어서 훨씬 빠릅니다.

데이터의 선언에서도 int a[10000], b[10000]과 같이 선언하는 것보다 여러 줄에 나눠서 선언하는 것이 캐시 지역성에 유리합니다.

 

False Sharing(거짓 공유)

False Sharing(거짓 공유)은 멀티스레드 환경에서 서로 다른 데이터(변수)를 서로 다른 스레드가 동시에 갱신하지만,
그 데이터들이 같은 cache line(보통 64 byte)에 존재할 때 발생하는 성능 저하 현상입니다.
멀티스레딩 환경에서 여러 코어는 자신만의 캐시를 가지고 있습니다. 그리고 각 코어의 캐시를 동기화 시켜주지 않으면 같은 address에 접근함에도 각 코어가 서로 다른 값을 볼 수 있습니다. 혹은 서로 다른 변수이지만 같은 캐시 라인에 존재하여 거짓 정보를 가지고 오게 됩니다. 캐시 라인은 보통 64바이트이기 때문에 우리가 데이터를 64바이트 단위로 설정해준다면 코어끼리 서로 다른 캐시 라인에 속하기 때문에, 동기화문제에서 자유로워집니다. 

// 문제상황
struct Counters {
    std::atomic<int> a;
    std::atomic<int> b;
};

Counters counters;

void thread1() {
    for (int i = 0; i < 1000000; ++i)
        counters.a++;
}

void thread2() {
    for (int i = 0; i < 1000000; ++i)
        counters.b++;
}


// 해결(alignas를 통한 64바이트 패딩)
struct alignas(64) Counter {
    std::atomic<int> value;
};

Counter c1;
Counter c2;

 

 

Cache 사용을 극대화하는 실전 전략

1. 데이터 구조 정렬

성능을 위해서라면 메모리 연속적인 vector를 사용합시다. Linked list를 사용하는 list와 map은 캐시 미스가 잦습니다.

// ✅ 좋은 예
std::vector<float> v(N);
for (auto &x : v) sum += x;   // spatial locality 우수

// ❌ 나쁜 예
std::list<float> l(N);
for (auto &x : l) sum += x;   // cache miss 다발

2. Struct of Arrays (SoA) 패턴

필요한 필드만 모아 분리된 배열 구조(SoA)로 구성하면 캐시 효율이 높아집니다.

// ❌ AoS
struct Particle { 
float x, y, z, velocity; 
};

std::vector<Particle> particles;

// ✅ SoA
struct Particles {
    std::vector<float> x, y, z, velocity;
};

3. Loop Reordering (Loop Tiling / Blocking)

다차원 배열을 순회할 때 메모리 stride 접근을 최소화해야 합니다.

// ❌ row-major 메모리에서 column-first 접근
for (int j = 0; j < N; ++j)
  for (int i = 0; i < N; ++i)
    sum += matrix[i][j];

// ✅ row-first 접근
for (int i = 0; i < N; ++i)
  for (int j = 0; j < N; ++j)
    sum += matrix[i][j];

4. False Sharing 방지

앞서 설명했던 것처럼 False sharing은 심각한 성능 저하를 유발합니다. 멀티스레드를 안쓰는 것만 못하기 때문에 반드시 방지해줍시다. c++에서는 캐시 라인의 단위인 64바이트로 padding하는 것이 일반적입니다(alignas 사용).

struct alignas(64) Counter {
    std::atomic<int> value;
}; // 각 스레드별로 cache line 분리

 

 

마치며

다시한번 말씀드리지만 고성능 프로그래밍에서 캐시 활용은 필수입니다. 개발자가 직접 캐시 메모리의 데이터를 조작할 수는 없지만 얼마든지 코드단에서 캐시활용을 극대화시킬 수 있습니다. CPU와 캐시메모리의 특징과 활용법을 알고 개발하는 것과 모르고 개발하는 것은 많이 다를 것입니다. 이 글을 읽은 여러분들은 이제부터 캐시활용도를 높일 수 있습니다!
다음시간에는 Translation Lookaside Buffer(일명 TLB, TLB miss)에 대해 살펴보겠습니다.