[AI용 PC 조립을 위한 사전 조사] 가성비 좋은 GPU는 어떤걸 선택해야 할까?

 

GPU

그래픽스 처리 장치의 약자로, 주로 컴퓨터 그래픽스와 관련된 작업을 가속화하는 특수한 전자 회로입니다. 초기에는 주로 그래픽스 렌더링을 위해 설계되었지만, 현재는 그래픽스 이외의 다양한 병렬 처리 작업에 사용되며, 이로써 그래픽스 외의 분야에서도 뛰어난 성능을 발휘합니다.

 

<주요 특징>

1. 병렬 처리: GPU는 여러 작업을 동시에 처리할 수 있는 높은 병렬성을 가지고 있습니다. 이는 이미지 및 비디오 처리, 과학적 시뮬레이션, 기계 학습 등과 같은 작업에 유용합니다.
2. 그래픽스 렌더링: GPU는 비디오 게임, 영화 및 기타 시각적 콘텐츠의 그래픽스 렌더링에서 중요한 구성 요소입니다. 그래픽스의 복잡한 장면을 처리하기 위한 계산을 담당하여 그림자, 조명 및 텍스처 매핑과 같은 작업에 필요한 많은 계산을 수행할 수 있습니다.
3. 일반용도 컴퓨팅 (GPGPU): GPU는 그래픽스 렌더링 이외의 일반용도 컴퓨팅에 사용될 수 있습니다. 이 능력은 과학적 시뮬레이션, 데이터 분석 및 기계 학습과 같은 작업에 활용됩니다.
4. CUDA 및 OpenCL: NVIDIA의 CUDA(Compute Unified Device Architecture) 및 AMD의 OpenCL(Open Computing Language)은 개발자가 GPU를 위한 코드를 작성할 수 있게 하는 프로그래밍 프레임워크입니다. 이러한 프레임워크는 비그래픽스 응용 프로그램에 GPU 병렬 처리 능력을 활용할 수 있게 합니다.
5. 딥 러닝 및 인공 지능: GPU는 딥 러닝 모델을 훈련하고 실행하는 데 중요한 역할을 합니다. GPU의 병렬 아키텍처는 신경망 훈련에 필요한 행렬 계산을 가속화합니다. 특히 NVIDIA의 GPU는 인공 지능 분야에서 널리 사용됩니다.
6. 레이 트레이싱: 현대 GPU는 레이 트레이싱을 지원하는 경우가 많습니다. 레이 트레이싱은 빛이 물체와 상호 작용하는 방식을 모방하여 더 현실적이고 시각적으로 매력적인 그래픽스를 생성하는 렌더링 기술입니다.
7. 독립 GPU 대 통합 GPU: 독립 GPU는 컴퓨터의 머더보드에 별도로 설치되는 카드이며, 통합 GPU는 중앙 처리 장치(CPU)와 동일한 칩에 통합된 그래픽스 카드입니다. 일반적으로 독립 GPU가 높은 성능을 제공하며 그래픽스 집약적인 작업에 적합합니다.

전반적으로 GPU는 현대 컴퓨팅에서 중요한 역할을 하며, 그래픽스, 과학적 연구, 인공 지능 및 다양한 병렬 처리 작업에 기여합니다.

 

 

FP32란?

FP32은 32비트 부동 소수점(Floating Point) 형식을 나타냅니다. GPU에서 FP32는 부동 소수점 연산에 사용되는 데이터 형식 중 하나입니다. 부동 소수점 형식은 소수점 이하의 값을 나타내기 위한 방법으로, 컴퓨터에서 실수를 표현하는 데 사용됩니다.

구체적으로 말하면, FP32는 32비트(4바이트)로 실수를 표현하는 방식입니다. 이는 부호 비트, 지수 비트, 그리고 가수(또는 유효 자릿수) 비트로 구성됩니다. 이 형식은 넓은 범위의 실수 값을 표현할 수 있으며, 일반적으로 과학 및 공학 계산, 그래픽스, 기계 학습과 같은 연산에서 사용됩니다.

GPU에서 FP32는 정밀도가 상대적으로 높은 연산을 수행하는 데 사용됩니다. 이는 정확도가 중요한 작업에서 필요한데, 예를 들어 과학적 연구나 높은 정밀도의 그래픽스 렌더링, 또는 일부 복잡한 기계 학습 모델에서 이러한 정밀도가 필요할 수 있습니다.

그러나 FP32는 데이터를 저장하고 전송하는 데 더 많은 비트를 사용하므로, 더 낮은 정밀도(예: FP16 또는 INT8)를 사용할 수 있는 경우에는 성능상의 이점이 있을 수 있습니다. 따라서 GPU에서는 작업의 요구 사항에 따라 다양한 부동 소수점 형식을 사용하여 최적의 성능을 얻을 수 있습니다.

 

 

FP32가 중요한 이유는?

1. 고정 및 과학적 연산: FP32는 정밀도가 높은 부동 소수점 형식으로, 정밀한 계산이 필요한 다양한 응용 분야에 사용됩니다. 특히, 과학적 연구, 공학적 시뮬레이션, 난해한 계산, 그래픽스 및 렌더링 작업에서 정확한 부동 소수점 표현이 필요한 경우에 FP32가 중요합니다.
2. 기계 학습 및 딥 러닝: 기계 학습 및 딥 러닝에서는 FP32가 많이 사용됩니다. 훈련(training) 단계에서는 모델이 데이터의 복잡한 패턴을 학습하는 데 높은 정밀도가 필요하므로 FP32가 흔히 사용됩니다. 또한, 일부 최신 딥 러닝 모델은 FP32를 사용하여 그래디언트(기울기)를 계산하고 파라미터를 업데이트하는 데 이용됩니다.
3. 부동 소수점 연산의 범용성: FP32는 다양한 응용 분야에서 사용되는 범용적인 부동 소수점 형식입니다. 이로써 GPU는 여러 도메인에서 뛰어난 성능을 발휘할 수 있습니다. FP32는 넓은 범위의 값을 나타낼 수 있으며, 많은 응용 분야에서 필요한 정밀도를 제공합니다.
4. 정확도 요구 사항: 일부 작업은 높은 정확도가 필요하며, FP32는 그러한 요구 사항을 충족시키기에 적합한 형식입니다. 특히, 과학적 연구나 정밀한 시뮬레이션에서는 계산 결과의 정확성이 중요합니다.

그러나 FP32는 데이터를 표현하고 저장하는 데 더 많은 비트를 사용하므로 메모리 사용량이 많아질 수 있고, 연산량이 큰 경우에는 계산 속도에도 영향을 미칠 수 있습니다. 따라서 정확도가 중요한 경우에는 FP32를 사용하되, 성능이 중요한 경우에는 더 낮은 정밀도의 부동 소수점 형식을 고려할 수 있습니다.

 

GPU에서 메모리 크기 특징

GPU의 메모리 크기는 각 GPU 모델에 따라 다릅니다. 다양한 GPU가 시장에 나와 있고, 각 GPU는 메모리 크기와 다른 기술적 특징을 가지고 있습니다. 또한, 메모리 크기는 그래픽 카드 제조사(예: NVIDIA, AMD)와 모델에 따라 다를 수 있습니다.

일반적으로 고성능 GPU는 대용량의 그래픽 메모리를 갖고 있으며, 이는 그래픽 처리, 과학적 연구, 기계 학습 및 딥 러닝과 같이 메모리 요구량이 큰 작업을 수행하는 데 필요합니다.

 

1. NVIDIA GeForce RTX 30 시리즈: 이 시리즈는 다양한 메모리 크기를 갖는 그래픽 카드를 제공합니다. 예를 들어, NVIDIA GeForce RTX 3080은 10GB GDDR6X 메모리를 갖고 있습니다.
2. NVIDIA A100 GPU: NVIDIA의 A100은 데이터 센터 및 고성능 컴퓨팅을 위한 GPU로서, 최대 80GB의 HBM2 메모리를 갖고 있습니다.
3. AMD Radeon RX 6000 시리즈: AMD의 최신 Radeon RX 6000 시리즈는 16GB GDDR6 메모리를 갖춘 모델이 있습니다.

 

메모리 크기가 크면 좋은점은?

1. 대규모 데이터 처리: 메모리 크기가 크면 GPU가 대규모 데이터 세트를 효과적으로 처리할 수 있습니다. 이는 과학적 연구, 대규모 그래픽 처리, 기계 학습 모델 훈련 시에 특히 중요합니다. 큰 메모리는 모델의 파라미터 및 중간 결과를 보관하고 더 큰 배치 크기로 작업할 수 있도록 합니다.
2. 고해상도 그래픽스 및 렌더링: 고해상도의 이미지나 복잡한 3D 모델을 다룰 때 큰 메모리는 필수적입니다. 대용량 메모리를 갖춘 GPU는 큰 텍스처 매핑, 복잡한 쉐이더 및 고해상도 텍스처와 같은 그래픽 작업을 원활하게 처리할 수 있습니다.
3. 대규모 병렬 처리: GPU는 병렬 처리 장치이므로 큰 메모리 크기는 여러 병렬 작업을 동시에 처리하는 데 도움이 됩니다. 이는 고성능 컴퓨팅 및 과학적 계산 분야에서 특히 중요합니다.
4. 딥 러닝 모델의 복잡성: 대규모 딥 러닝 모델은 많은 파라미터를 갖고 있고, 훈련 중에 중간 계산 결과를 메모리에 저장해야 합니다. 따라서 큰 메모리는 대규모 딥 러닝 모델을 훈련하거나 실행하는 데 필수적입니다.
5. 멀티태스킹 및 다양한 작업 지원: 여러 작업을 동시에 처리하거나 여러 애플리케이션을 동시에 실행하는 경우 큰 메모리는 시스템의 전반적인 성능을 향상시킬 수 있습니다.

 

TDP란?

TDP는 "Thermal Design Power"의 약자로, 한정된 열 디자인 전력 또는 열 디자인 파워로 번역됩니다. 이것은 주로 컴퓨터 하드웨어의 열 소모나 발열을 설명하는 데 사용되는 지표입니다. GPU의 TDP는 해당 그래픽 카드가 설계된 열을 얼마나 많이 소비하는지를 나타냅니다.

일반적으로 TDP는 외부에 노출된 열을 나타내지 않고, 내부적으로 그래픽 카드가 발생하는 열을 의미합니다. 높은 TDP는 일반적으로 더 강력하고 성능이 우수한 그래픽 카드를 나타냅니다. 그러나 높은 TDP는 더 많은 열을 생성하므로 이를 효과적으로 제어하기 위해 적절한 냉각 솔루션이 필요합니다.

TDP는 주로 그래픽 카드의 스펙이나 리뷰에서 찾을 수 있으며, 사용자들이 그래픽 카드를 선택하거나 시스템을 설계할 때 전력 공급 및 냉각 요구 사항을 고려하는 데 도움이 됩니다. TDP는 완전히 정확한 전력 소비를 나타내지는 않지만, 일반적으로 사용 중 또는 최대 부하 상태에서 발생하는 열을 추정하는 데 사용됩니다.

 

대역폭 의미는?

GPU의 대역폭(Bandwidth)은 그래픽 메모리(GPU 메모리 또는 VRAM)와 GPU 코어 간 데이터 전송 속도를 나타냅니다. 이는 데이터가 GPU 메모리와 GPU 코어 간에 얼마나 빠르게 이동할 수 있는지를 측정하는 중요한 지표입니다.

대역폭은 주로 기가바이트/초(Gigabytes per second, GB/s)로 측정되며, 높은 대역폭은 그래픽 작업, 과학적 계산, 그리고 머신 러닝 및 딥 러닝과 같은 복잡한 계산 작업에서 높은 성능을 제공하는 데 중요합니다.

대역폭이 높을수록 GPU는 다음과 같은 작업에서 더 효율적으로 동작할 수 있습니다:

1. 고해상도 그래픽스 및 렌더링: 대역폭이 높으면 대규모 텍스처 매핑, 복잡한 셰이더 연산 및 고해상도 그래픽스와 같은 작업에서 그래픽 처리 능력을 최대로 활용할 수 있습니다.
2. 대규모 데이터 처리: 높은 대역폭은 대규모 데이터 집합을 빠르게 GPU 메모리로 이동하거나 GPU에서 CPU로 데이터를 전송할 수 있는 데 도움이 됩니다.
3. 기계 학습 및 딥 러닝: 대규모 신경망을 훈련하거나 추론을 수행하는 데는 많은 양의 데이터 전송이 필요하므로 높은 대역폭이 유리합니다.

 

NVIDIA  그래픽 카드 종류

1. GeForce RTX 40 시리즈
2. GeForce RTX 30 시리즈
3. GeForce RTX 20 시리즈
4. GeForce RTX 16 시리즈

위 발매 최신 순서로 보면 됩니다.

최신 제품이 성능 향상이 있는 건 맞습니다. 금액적으로 제한이 없다면 최신에 최고 사양을 사면 좋겠지만 자신에게 맞는 금액에 맞추어서 선택해야만 한 경우가 더 많을 듯 보입니다.

 

<RTX 40 시리즈>

그림 1. RTX 40 시리즈 스펙

 

<RTX 30 시리즈>

그림 2. RTX 30 시리즈 스펙

 

 

RTX 40 시리즈와 RTX 30 시리즈를 비교해 보려고 합니다.

비교 사이트 정보는 https://www.topcpu.net/ko/gpu-c 입니다.

NVIDIA GeForce RTX 4090 Ti vs NVIDIA GeForce RTX 3090 Ti

그림 3.

RTX 4090 Ti의 경우 그림 3과 같이 FP32 수치가 높은 걸 확인할 수 있습니다.

 

NVIDIA GeForce RTX 4080 16 GB vs NVIDIA GeForce RTX 3080 12 GB

그림 4.

4080이 전체적으로 좋은 성능을 보여줍니다.

 

NVIDIA GeForce RTX 4070 Ti vs NVIDIA GeForce RTX 3070 Ti

그림 5.

 

 

NVIDIA GeForce RTX 4060 Ti 16 GB vs NVIDIA GeForce RTX 3060 12 GB GA104

그림 6.

 

RTX 40과 RTX 30 시리즈 내 비슷한 계열끼리 비교해 보았을 때 RTX 40 시리즈 계열이 전체적으로 좋은 성능을 보여 주었습니다.

 

 

NVIDIA GeForce RTX 4090 Ti vs NVIDIA GeForce RTX 4080 16 GB

그림 7.

 

 

NVIDIA GeForce RTX 4090 Ti vs NVIDIA GeForce RTX 4070 Ti SUPER

그림 8.

 

 

NVIDIA GeForce RTX 4090 Ti vs NVIDIA GeForce RTX 4060 Ti 16 GB

그림 9.

 

RTX 40 시리즈 내 RTX 4090과 나머지 모델을 비교했습니다. 역시 RTX 4090이 압도적으로 좋은 걸 알 수 있습니다. 가격에 대한 압박이 없으면 RTX 4090입니다.

 

RTX 4090을 네이버 쇼핑에서 찾아보면 보통 2백만 원 후반에서 3백만 원 중반대입니다. (그림 10.)

 

그림 10.

 

RTX 4080을 네이버 쇼핑에서 찾아보면 보통 1백만 원 중반에서 2백만 원 후반대입니다. (그림 11.)

그림 11.

 

RTX 4070을 네이버 쇼핑에서 찾아보면 보통 오십만 원에서 1백만 원 초반대입니다. (그림 12.)

그림 12.

 

RTX 4060을 네이버 쇼핑에서 찾아보면 보통 오십만 원대입니다. (그림 13.)

그림 13.

 

 

RTX 4090과 RTX 4060과 가격 차이는 200만 원 정도입니다. 아래 사이트는 가격과 성능을 비교한 사이트입니다. 참고 바랍니다.

 

https://gpu.userbenchmark.com/Compare/Nvidia-RTX-4090-vs-Nvidia-RTX-4060-Ti/4136vs4149

UserBenchmark: Nvidia RTX 4060-Ti vs 4090

 

 

 

The best GPUs for Stable Diffusion

그림 14.

 

https://irendering.net/the-best-gpus-for-stable-diffusion/

The best GPUs for Stable Diffusion | iRender Render Farm

 

Stable Diffusion에 최고 좋은 GPU는 그림 14와 같습니다. RTX 4090은 15.24이고 RTX 4060 Ti는 7.44입니다. 두 배 정도 사이가 나는 걸 알 수 있습니다.

 

결론 Stable Diffusion 작업 시 메모리가 큰 RTX 4060 Ti 16G를 구매해도 될 듯 보여집니다. 더 좋은 성능을 원하고 금액적으로 여유가 있다면 한단계씩 높여서 구매하시면 될듯 보입니다. 그리고 구매 비용뿐 아니라 Stable Diffusion 작업 시 전기 소비도 고급 사양으로 갈수록 소비 전력이 커집니다. 사무실에서 작업할 거면 문제없겠지만 개인이 집에서 작업 시엔 전기료 누진세 압박을 받을 수 있습니다.

 

그림 15.