[비바100] 사피온 "저전력 AI 반도체로 엔비디아 아성에 도전한다"

AI 반도체 이미지.(이미지=SK텔레콤)

  

오늘날, 시대의 화두는 AI(인공지능)다. 기존 AI는 통신, 데이터 분석 등 삶과 상대적으로 거리가 먼 영역에서 활용됐으나, 최근에는 챗GPT 등 생성형 AI의 발전과 함께 삶의 곳곳에 AI가 들어오고 있다.

 

반도체가 이 같은 상황을 가능하게 했다. 생성형 AI 구동에 그래픽처리장치(GPU)를 위시로 한 AI 반도체가 필수이기 때문이다. 미국 반도체 기업 엔비디아가 AI 시대 최강자로 군림할 수 있던 이유다.

 

다만 엔비디아 칩은 고성능에 비례하는 높은 전력을 필요로 한다. 엔비디아 GPU H100의 최대 소비전력은 700W다. 1개당 미국 가정용 전기 사용량의 약 10~15%에 해당하는 전력을 소비한다. 엔비디아는 2024년 말까지 350만개의 H100이 판매될 것으로 예상한다. 이를 토대로 계산하면 연간 1만3091.82GWh의 전력을 소비한다. 이는 조지아, 리투아니아, 과테말라 등 국가의 연간 전력 소비량인 약 1만3092GWh와 맞먹는 수준이다. AI 반도체가 전기를 잡아먹는 하마인 셈이다.

 

이에 국내 반도체 업계에서는 저전력으로 높은 성능을 구현한 가성비 칩 개발에 한창이다. 엔비디아의 사각지대를 노리는 전략이다. 그 중심에는 AI 반도체 스타트업 ‘사피온(SAPEON)’이 있다.

 

NPU X330.(사진=사피온)

  

◇사피온, 전력효율·연산 성능 두 마리 토끼잡아

사피온은 SK ICT 연합 3사(SK텔레콤, SK하이닉스, SK스퀘어)가 공동 출자한 AI 반도체 팹리스(반도체 위탁생산)다. 지난 2022년 설립됐으며, 지난해 600억원 규모 시리즈A 투자 유치를 마무리했다. 현재 시장에서 예상하는 기업가치만 5000억원에 달하는 팹리스 유망주다.

서웅 사피온 부사장은 “최근 분위기로 봐서는 AI에 대한 사회적 관심이 정점을 찍은 상황”이라며 “AI 반도체를 하는 스타트업들간 옥석을 가리는 시기가 곧 올 것이다. 결국 수익이 발생할 수 있게 해주는 솔루션이 필요하다”고 설명했다.

사피온은 전력 효율과 연산 성능이라는 두 마리 토끼를 한번에 잡은 반도체 ‘X330’으로 시장을 공략한다. X330은 지난해 출시된 사피온의 추론형 NPU(신경망처리장치)다. 전작인 X220보다 4배 이상의 연산 성능과 2배 이상의 전력 효율을 제공한다.

이 같은 효율은 AI 응용에 특화된 ‘부동소수점 연산’이 가능하게 했다. 부동소수점 연산 모델은 정수 연산에 비해 더 높은 정밀도(Accuracy)를 자랑한다. 데이터가 균등하게 분포돼 있지 않고 특정 영역에 집중된 데이터를 표현하는 데 더 적합하다. 또한 독립적으로 작동할 수 있는 여러 개의 NPU 코어를 통해 단일 응용 프로그램의 처리 속도도 향상시켰다. 이러한 기능들은 사피온의 칩이 다양한 유형의 AI 서비스를 동시에 처리할 수 있는 유연성을 제공한다.

서 부사장은 “X220은 정수 연산을 지원했으나 X330은 부동소수점 연산을 지원한다. GPU와 비교해 밀리지 않는 경쟁력을 갖추게 됐다”며 “동일한 전력을 소비하는 걸 기준으로 비교하면 X330이 경쟁사 칩보다 우월한 성능을 갖췄다”고 강조했다.

그러면서 “사피온 칩은 많은 사용자가 동시에 사용할 수 있는 지 여부에 초점을 맞췄다”고 덧붙였다.
 

서웅 사피온 부사장이 답변하고 있다.(사진=사피온)

사피온의 칩은 실제 산업 현장에서 성능을 검증 받고 있다. SK그룹 내 여러 관계사들과 다양한 형태의 PoC(개념증명)를 진행하며 상용 응용 사례를 발굴 중인 것이다. 대표적인 사례가 SK텔레콤의 NPU팜(Farm)이다. NPU팜은 AI반도체 전용 데이터센터를 의미한다.

그는 “사피온은 이 프로젝트를 통해 이미지 분석, 자연어 처리, 화질 개선 등 상용화 테스트를 성공적으로 수행했다”며 AI 반도체 분야에서 회사의 성공 가능성을 점쳤다고 했다.

회사는 현재 칩 개발을 위해 SK텔레콤이 주도하는 K-AI 얼라이언스에 참여하고 있으며, 토론토 대학 등 해외 유수 대학과 공동 연구를 진행하고 있다. 또 NHN클라우드 등 국내 주요 클라우드 사와 협업해 AI 데이터센터 인프라를 구축하는 중이다.

서웅 부사장 추론형 반도체 X330으로 라마2(Llama 2)를 구동시키고 있다.(사진=사피온)

 

◇“AI 반도체, 학습에서 추론으로 시장 변화한다”

AI는 크게 학습 모델과 추론 모델 두 가지로 분류된다. 학습은 인간의 두뇌에 지식을 저장하듯 AI가 정보를 축적하는 것이고, 추론은 학습된 지식을 기반으로 새로운 정보에 대한 답을 스스로 도출해내는 모델을 뜻한다.

현재 시장은 생성형 AI에 적합한 학습용 반도체가 주류를 이루고 있다. 그러나 사피온을 포함한 대부분의 AI 반도체 업계에서는 앞으로 추론 시장 수요가 더 커질 것으로 전망하고 있다. 사피온이 추론형 AI 반도체에 집중하는 이유다.

서 부사장은 “AI 기술 발전과 함께 학습 단계 이후 실제 서비스에 적용되는 추론 단계에 대한 수요가 크게 증가하고 있다”며 “AI 모델이 학습을 마친 후 실제로 데이터를 처리해야 하는 상황이 기하급수적으로 늘고 있기 때문이다”라고 설명했다.

아울러 “응용 분야가 다양하다는 점도 추론형 칩이 시장 주류로 떠오르는 요인”이라며 “사피온 칩은 △음성·얼굴 인식 △자연어 처리 △이미지 분석 등 다양한 AI 서비스들을 실시간으로 지원한다”고 밝혔다.

사피온 사옥 내부 전경.(사진=사피온)

 

◇서버를 넘어 자율주행·엣지용 칩도 도전

회사는 서버용 반도체를 넘어 엣지용 반도체로 영역을 확장하고 있다. 사피온에 따르면 이르면 올해 상반기 중 엣지용 AI 반도체가 공개된다. 이 칩은 IoT 플랫폼 기업 어드밴텍과 협력한 엣지 박스 형태로 출시된다. 국방, 공공, 교통(ITS), 물류, 보안 등 다양한 엣지 AI 시장을 타깃으로 한다. 스마트폰 등 엣지 디바이스가 아닌 네트워크에 진입점을 제공하는 엣지 서버에 탑재될 예정이다.

서 부사장은 “엣지용 AI 반도체 적용을 위해 다양한 글로벌 엣지 서버 기업들과도 중장기 협력을 검토하고 있다”고 설명했다.

엣지용 반도체는 데이터를 발생하는 기기인 엣지 디바이스에 탑재되는 칩이다. 예를 들어 인터넷에 필요한 서버가 데이터센터라면, 엣지는 인터넷을 이용할 수 있는 스마트폰 등 기기를 일컫는다. 엣지용 서버는 데이터센터와 디바이스를 이어주는 네트워크 진입 지점이다.

높은 기술 난이도로 진입이 어려운 자율주행용 시장에도 진출했다. 자율주행 시장은 다른 반도체 설계와 달리 별도의 안전 설계 요구사항을 만족시켜야 한다. 사피온은 국제평가인증기관인 DNV로부터 ISO26262 인증을 받았다.

자율주행 기술은 칩이 아닌 IP(설계자산) 형태로 제공된다. 회사는 최근 차량용 SoC(시스템 온 칩) 기업인 텔레칩스에 X300 아키텍처 기반 NPU IP를 공급하고 있다고 밝혔다. 양사가 공동 개발 중인 AI 가속기 ‘A2X’의 첫 샘플은 올해 내로 출시될 예정이다.

서 부사장은 “사피온은 텔레칩스와 정부 과제를 통해 협업을 진행하고 있다”고 말했다. 해당 기술이 SK텔레콤에서 진행하는 UAM(도심항공교통)과 관련한 지에 대해서는 “차량용 NPU IP는 SKT가 추진하고 있는 UAM을 고려해 개발된 것은 아니다”라며 “UAM이 요구하는 안전 기준은 자율주행 자동차용 안전 인증보다 더욱 까다로울 것”이라고 밝혔다.

X220이 탑재된 서버.(사진=사피온)

 

◇“HBM, AI 칩에 기본으로 탑재될 것”

사피온은 차세대 칩인 X430부터 HBM(고대역폭 메모리)을 탑재한다. X330에는 GDDR6가 탑재됐다. 서 부사장은 미래 AI 반도체에 HBM 탑재는 필수일 것으로 내다봤다.

그는 “HBM은 하이(High) 밴드위스(Bandwidth, 대역폭)와 하이 덴서티(Density, 용량)라는 두 가지 장점을 갖고 있다”며 “언어 모델을 지원하기 위해 HBM은 선택이 아닌 필수가 될 것”이라고 점쳤다.

실제로 GDDR6 하나의 용량은 2GB(기가바이트)인 반면 최근 개발을 마친 HBM3 12단의 용량은 36GB로 18배 차이가 난다. SLM(소규모 언어 모델)을 지원하는 X330은 적은 용량의 GDDR로 충분했지만, LLM(대규모 언어 모델)을 지원하는 X430부터는 GDDR이 적합하지 않은 셈이다.

서 부사장은 “X430은 1조개 이상의 매개변수를 갖는 초거대 언어 모델을 효율적으로 지원하기 위해 확장성과 프로그래밍 가능성을 높일 계획”이라고 설명했다.

X430부터는 칩렛(Chiplet)도 도입된다. 칩렛은 여러 개의 칩 조각을 조립해 하나의 반도체 다이로 만드는 기술이다. 또 다른 차세대 기술인 CXL(컴퓨트 익스프레스 링크)은 X430에 적용하지 않는다.

서 부사장은 변화하는 시장 상황을 정확하게 해석해야 한다고 말했다.

그는 “글로벌 AI 반도체 시장은 엔비디아의 독주 체제가 지속되고 있다. 사피온 같은 신생 AI 반도체 기업 입장에선 다윗과 골리앗의 싸움과 같은 큰 도전”이라며 “시장 수요의 급격한 변화, 미중 갈등, AI 기술의 발전 속도 등 산업의 불확실성을 증가시키는 요인을 예측하는 게 중요하다”고 주장했다.

아울러 “사피온은 지속적인 혁신을 통해 성능, 에너지 효율, 비용 측면에서 끊임없이 개선된 AI 반도체를 고객들에게 제공할 것”이라고 강조했다.

전화평 기자 peace201@viva100.com