Nvidia DGX Spark 출시: Jetson AGX Thor와의 차이점

Nvidia DGX Spark 출시

Nvidia의 DGX Spark

최근 Nvidia에서 DGX Spark를 출시했습니다. 위 사진에서 우측에 있는 작은 컴퓨터가 DGX Spark입니다.

크기가 거의 애플의 맥미니 사이즈로 보입니다.

한동안 DGX Spark 광고가 제 개인 인스타에 엄청 보였는데 출시된 것을 보니

정말 구매 욕구가 있었지만 가격을 본 뒤로 구매 의욕이 뚝 떨어졌습니다.....ㅠㅠ.

커뮤니티나 포럼을 검색해보니 $3999 가격으로 원화로 약 570만원으로 현재 제 월급보다 비쌉니다.....

 

이렇게 비쌀 수 밖에 없는 이유는 아래 스펙들을 보면 이 가격일 수 밖에 없겠네 라는 생각이 들었습니다.

제일 핵심적으로 볼 것은 CPU, GPU, 메모리인데 메모리에서 unified system memory인 것을 보니

일반적인 PC는 CPU와 GPU가 각각 별도의 메모리인 것과 다르게 이 둘의 데이터를 더 효율적으로 처리하기 위해

물리적으로 통합한 것 같습니다. 

Architecture	NVIDIA Grace Blackwell
GPU	Blackwell Architecture
CPU	20 core Arm, 10 Cortex-X925 + 10 Cortex-A725 Arm
CUDA Cores	Blackwell Generation
Tensor Cores	5th Generation
RT Cores	4th Generation
Tensor Performance1	1 PFLOP
System Memory	128 GB LPDDR5x, unified system memory
Memory Interface	256-bit
Memory Bandwidth	273 GB/s
Storage	1 or 4 TB NVME.M2 with self-encryption
USB	4x USB TypeC
Ethernet	1x RJ-45 connector 10 GbE
NIC	ConnectX-7 Smart NIC
Wi-Fi	WiFi 7
Bluetooth	BT 5.3
Audio-output	HDMI multichannel audio output
Power Consumption	TBD
Display Connectors	1x HDMI 2.1a
NVENC | NVDEC	1x | 1x
OS	NVIDIA DGX™ OS
System Dimensions	150 mm L x 150 mm W x 50.5 mm H
System Weight	1.2 kg

 

스펙만 보자면 그래서 이게 성능이 어느 정도인데 라는 생각이 드며 이해가 안 갈 수 있습니다.

GTC 2025에 발표한 영상과 자료에 따르면 GPU의 단일 메모리 사용 시 최대 100GB가 가능합니다.

RTX 5090가 최대 32GB인 것을 보면 게임용보다는 AI용으로 나왔다는 것을 알 수 있습니다.

더 놀라운 것은 AI 서버용으로 많이 쓰이는 RTX PRO 6000보다는 AI 성능이 떨어지지만 단일 메모리는 4GB 높은 수준을 보여줍니다.

DGX Spark와 기존 GPU 비교

추가적으로 멀티 GPU 표도 있는거 보면 장치 내 멀티 GPU를 지원하는 것처럼 보이지만 장치 내에는 하나의 GPU만입니다.

DGX Spark가 이더넷 포트가 2개인 것을 보면 두 개 장치를 아래 사진처럼 연결하여 마치 작은 AI 서버를 만들 수 있게 하드웨어를

설계한 것 같습니다.

DGX Spark 2개 연결한 모습

 

자료를 다시 보니 확실히 멀티 GPU는 2개의 장치를 연결하는 것이 맞습니다.

거기에 Nvidia가 AI 모델 크기에 따른 어떤 장비를 써야하는지 알려주고 있습니다. (제 컴퓨터는 이제 AI 학습도 못하겠네요....)

Nivida가 제시한 AI 모델 크기에 따른 장비

---

Jetson AGX Thor  vs DGX Spark

DGX Spark를 출시했으니 그 전에 출시했던 Jetson Agx Thor를 비교를 하겠습니다.

Nvidia가 AGX Thor도 작은 미니 PC로 출시했는데 DGX Spark도 작은 미니 PC로 출시한 목적에 대해서 분석해볼려고 합니다.

Nvidia의 Jetson AGX Thor(좌), Jetson AGX Orin(우)

Nvidia의 Jetson AGX Thor는 25년 8월에 출시했습니다.

기존 AGX Orin보다 큰 사이즈로 설계되었습니다.

큰 사이즈로 설계될 수 밖에 없는게 아래 스펙을 보시면

AI 성능, CUDA 코어, Tensor 코어, 메모리가 압도적으로 업그레이드 된 것을 볼 수 있습니다.

항목	DGX Spark	Jetson AGX Thor	Jetson AGX Orin
AI 성능 (TOPS)	1,000 (FP4 sparse)	2,070 (FP4 sparse)	275 (INT8)
CPU	20 코어 ARM64 (Grace)	14 코어 Arm Neoverse V3AE	12 코어 Arm Cortex-A78AE
GPU	Blackwell GB10 Superchip	Blackwell GPU	Ampere GPU (GA10B)
CUDA	6,144	2,560	2,048 (64GB 버전)
Tensor	192 (5세대)	96 (5세대)	64 (4세대)
메모리	128GB LPDDR5x unified (273 GB/s)	128GB LPDDR5x	64GB LPDDR5 (204 GB/s)
전력	240W	40~130W	15~60W (최대 75W)
네트워킹	10GbE + 200Gbps QSFP	4x 25GbE + 1x 5GbE + PCIe Gen5	Gigabit Ethernet + PCIe Gen4

 

비교한 김에 DGX Spark 스펙도 추가하여 비교해보았습니다.

확실히 DGX Spark가 CPU, GPU, CUDA, Tensor 코어가 압도적으로 높아서 전력이 Jetson AGX Thor와 Orin보다 많이 잡아먹는 것을 확인할 수 있습니다.

그에 비해 Jetson AGX Thor와 Orin는 전력을 모드에 따라 정할 수 있어 우리가 어떤 로봇을 만들 때 거기에 필요한 전력을 정해서 로봇의 배터리를 효율적으로 관리할 수 있습니다.

DGX Spark 자료에는 따로 전력을 선택할 수 있는 모드가 없는 것을 보니 DGX Spark가 로봇 같은 엣지 디바이스 적용보다는 AI 모델 개발, 학습 그리고 추론 중점에 나온 PC인 것을 알 수 있을 것 같습니다.

그래서 Nvidia에서 각 장치 소개 사이트(DGX Spark, Jetson Orin Thor)에서 워크로드를 보시면 어떤 용도로 사용해야하는지 알려줍니다.

Jetson Orin Thor 워크로드

DGX Spark 워크로드

 

오늘은 DGX Spark 출시 소식을 듣고 Jeton AGX Thor와 어떤 차이점 있는지 관해서 자료를 조사하여 글을 정리해보았습니다.
두 장치들 정말 사고 싶지만.......... 개인적으로 사기에는 가격대가 부담이 됩니다.

팀장님께 부탁하여 현재 하고 있는 프로젝트 예산으로 구매할 수 있게 설득해봐야겠습니다.....ㅠㅠ

 

긴 글 읽어주셔서 감사합니다. 다음에도 재밌는 테크 인사이트 리뷰로 뵙겠습니다.