9년 전 NVIDIA Tesla V100의 재도전: 4개 GPU 클러스터 AI 추론, DGX Spark 2대 추월

IT之家 10월 13일 보도에 따르면, 유튜브 채널 ‘Jun Yamog’은 어제(10월 12일) 4장의 Tesla V100을 NVLink 브리지 보드에 장착한 테스트 영상을 공개했다. 벤치마크에서 긴 프롬프트 처리 속도는 M5 Ultra보다 230% 빠르며, DGX Spark 2대 대비로는 40% 더 빠른 것으로 나타났다. IT之家가 공개 자료를 조사한 결과, Tesla V100은 엔비디아가 2017년 출시한 데이터센터용 GPU로, 볼타(Volta) 아키텍처를 기반으로 하며 AI 학습 및 추론에 주로 사용된다. 32GB 버전은 HBM2 메모리를 탑재하고 있으며, 900GB/s의 메모리 대역폭을 통해 대규모 모델의 파라미터와 데이터를 빠르게 읽을 수 있다. NVLink는 엔비디아의 GPU 고속 인터커넥트 기술로, 여러 GPU 간에 데이터를 직접 전송하는 데 사용된다. PCIe를 통한 통신과 비교할 때 인터커넥트 병목 현상을 줄일 수 있어, 다중 GPU 서버와 AI 컴퓨팅 클러스터에서 흔히 활용된다. 해당 NVLink 브리지 보드는 300GB/s의 대역폭을 제공하며 6개의 NVLink 2.0 연결을 갖추고 있다. 4개의 독립형 GPU를 수용하기 위해 테스트 진행자는 엔비디아 A100 쿨러를 개조하여 각 V100의 약 300W 전력 소모를 방출하도록 하고, PCIe x8 인터페이스를 통해 브리지 보드에 연결했다. 스트리머는 4비트 양자화된 모델을 사용해 테스트했으며, 비교 대상에는 128GB LPDDR5X 통합 메모리를 탑재한 DGX Spark 2대와 M5 Ultra 칩이 장착된 Mac Studio 장치가 포함되었다. 긴 프롬프트 처리 테스트에서 4장의 V100은 DGX Spark 클러스터보다 40% 빠르고, M5 Ultra보다 230% 빠랐다. 테스트 진행자는 애플 실리콘과의 큰 격차가 소프트웨어 최적화 부족에서 비롯된 부분일 수 있다고 지적했다. 짧은 프롬프트 처리 테스트에서 V100 클러스터는 DGX Spark 대비 40%의 속도 우위를 유지했으며, M5 Ultra보다는 163% 더 빨랐다. 이 결과는 구형 데이터센터 GPU가 특정 추론 부하에서 여전히 높은 처리량을 유지할 수 있음을 보여준다. 짧은 프롬프트 토큰 생성 테스트에서 4장의 V100은 초당 100.6개의 토큰(tok/s)을 달성해 DGX Spark 2대보다 121% 빠랐으며, M5 Ultra의 기록은 44.5 tok/s였다.