가끔은 CPU, GPU, NPU를 한 번에 비교해 달라는 말을 들으면 머릿속이 잠깐 멈춘다. 한 줄로 정리하면 편하겠지만, 그게 잘 안 된다. “성능”이라는 단어가 이미 함정처럼 느껴지기 때문이다. 어떤 사람은 처리량을 말하고, 어떤 사람은 지연 시간을 말하고, 또 어떤 사람은 전기요금과 발열을 먼저 떠올린다. 그래서 이 비교는 조금 돌아가더라도, 생각에서 시작하는 편이 낫다고 본다.
CPU를 생각하면 먼저 떠오르는 장면
왠지 CPU는 습관처럼 “기본값”이라는 느낌이 든다. 모든 프로그램이 결국 CPU를 거친다는 인상도 남아 있다. 그래서 AI 이야기를 할 때도 CPU를 빼고 말하면 뭔가 허전하다. 완전히 뒤로 물러난 조연이라기보다는, 여전히 무대의 진행을 맡는 사람 같은 역할이다.
다만 AI 연산만 놓고 보면 CPU는 힘으로 밀어붙이는 캐릭터는 아니다. 반복 계산을 대량으로 처리하는 일에서는 속도가 답답하게 느껴질 수 있다. 그렇다고 “CPU는 AI에 약하다”라고 말해버리면 또 어색하다. 실제 시스템에서는 CPU가 작업을 분배하고, 데이터를 준비하고, 전체 흐름을 조율하는 경우가 많다. 그래서 CPU는 성능 경쟁의 주인공이라기보다는, 시스템의 균형을 잡는 쪽에 더 가까워 보인다. 이 표현이 완전히 정확한지는 모르겠지만, 경험적으로는 꽤 그럴듯하다.
짧게 말하면, CPU는 사라지지 않는다. 다만 방식이 달라질 뿐이다.
GPU를 떠올리면 자연스럽게 생기는 기대감
GPU는 이름만 들어도 “AI는 이거지” 같은 분위기가 있다. 이 인식이 과장만은 아닌 듯하다. 병렬로 연산을 밀어붙이는 구조가 신경망 계산과 잘 맞아떨어졌고, 그 덕분에 학습과 추론 모두에서 폭넓게 쓰이게 됐다. 무엇보다 생태계가 강하다. 도구, 라이브러리, 개발 경험이 쌓여 있어서 선택이 쉬워지는 측면이 있다.
그런데 여기서 마음이 또 갈라진다. GPU가 늘 최선일까? 성능이 강력한 대신 비용과 전력 소모가 부담스럽다. “그래도 성능이 좋잖아”라고 말할 수는 있지만, 어떤 환경에서는 그 성능이 과할 수도 있다. 그리고 GPU를 쓰는 순간, 주변 설계도 같이 커지는 느낌이 든다. 냉각, 전력, 서버 구성, 운영비까지 함께 따라온다. 그래서 GPU는 단순히 빠른 칩이라기보다, 빠른 대신 여러 조건을 같이 요구하는 선택지처럼 보인다.
좋다. 그런데 값이 있다. 이런 식이다.
NPU를 떠올릴 때 느껴지는 미묘한 거리
NPU는 이름 자체가 “AI를 위해 태어났다”는 선언처럼 들린다. 그래서 기대가 생기면서도, 동시에 범위가 좁을 것 같다는 느낌도 함께 온다. 실제로 NPU는 특정 연산 패턴에 맞춘 구조인 경우가 많고, 그 덕분에 전력 효율이나 지연 시간에서 장점이 나오기도 한다. 특히 모바일이나 Edge 환경에서는 이 장점이 꽤 크게 체감될 수 있다.
하지만 NPU는 만능 도구처럼 쓰기 어렵다. 모델이 바뀌거나 연산 방식이 달라질 때 유연성이 부족하다고 느껴질 수도 있다. 그리고 지원 체계나 개발 경험이 GPU만큼 넓지 않은 경우도 있다. 그래서 NPU는 “정해진 자리에서는 아주 잘 맞는데, 자리 밖에서는 애매한” 성격을 띠기 쉽다. 이게 단점이라기보다는 설계 의도에 가까운데, 사용자는 가끔 이 차이를 뒤늦게 체감한다.
그래서 NPU는 ‘효율’의 상징처럼 보이면서도, 동시에 ‘조건부’의 냄새가 난다.
세 가지를 비교할 때, 사실 기준이 먼저 흔들린다
이쯤 되면 결국 이런 생각이 든다. CPU, GPU, NPU를 한 줄로 비교하는 게 애초에 가능하긴 한 걸까. 사람들은 보통 “성능”이라는 하나의 단어로 묶지만, 실제 현장에서는 성능의 의미가 여러 갈래로 갈라진다. 처리량이 중요한 곳이 있고, 응답 지연이 더 중요한 곳이 있고, 전력과 열이 사실상 상한선을 만들어버리는 곳도 있다.
예를 들어 데이터센터에서는 GPU가 강점을 보이기 쉽다. 큰 연산을 길게 밀어붙이니까. 반면 Edge나 모바일에서는 NPU 같은 효율 중심 선택이 더 자연스러워질 수 있다. CPU는 그 사이에서 전체 흐름과 호환성을 잡는 경우가 많다. 다만 이것도 고정된 규칙이라기보다는, 시스템 설계에 따라 달라지는 경향에 가깝다. 그래서 더 조심스럽다.
개인적으로는 “누가 이기나”보다 “어디서 버티나”가 더 크게 보인다
개인적으로는 이 비교가 결국 “승자 결정”이 아니라 “역할 분담”으로 갈 가능성이 더 커 보인다. CPU는 조율자 역할을 유지하고, GPU는 대규모 병렬 연산의 중심에 서고, NPU는 효율이 중요한 자리에서 확실한 존재감을 키우는 식이다. 물론 이 그림도 언제든 바뀔 수 있다. 기술은 종종 합쳐지기도 하고, 반대로 더 잘게 나뉘기도 한다.
그래도 당분간은 공존이 자연스러워 보인다. 다만 공존이 쉬운 건 아니다. 선택지가 많아질수록 설계가 복잡해지고, 의사결정이 더 어려워진다. 그래서 “좋은 시대”라고 말하기도 애매하다. 편리해진 만큼 고민이 늘었다.
결론
CPU vs GPU vs NPU 비교는 생각보다 단순한 성능 싸움이 아니다. 각자가 잘 버티는 환경이 다르고, 성능을 평가하는 기준도 달라진다. 그래서 어떤 하나를 최고라고 단정하기보다는, 목적과 제약을 먼저 정하고 그 안에서 선택을 고민하는 편이 더 현실적으로 보인다. 이 비교가 늘 애매하게 끝나는 이유도 아마 그 때문이다. 어쩌면 그 애매함이 지금 반도체와 AI의 관계를 그대로 보여주는 것인지도 모르겠다.