엔비디아 H100 GPU와 네모 프레임워크 기반으로 구축된 LG AI연구원의 엑사원 3.0

AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr)가 LGAI연구원 의 엑사원 3.0(EXAONE 3.0)에 엔비디아(NVIDIA) H100 GPU와 네모(NeMo) 프레임워크가 활용됐다고 밝혔다. 엑사원 3.0은 네모 프레임워크 위에서 LG AI연구원의 독자 기술로 개발되고 학습됐다.

엑사원 3.0은 지난 8월에 발표된 LG AI연구원의 최신 AI 파운데이션 모델로, 한국어와 영어, 코딩 등 13개 벤치마크 점수 순위에서 1위를 차지했다. 특히 메타(Meta)의 라마(Llama) 등 글로벌 동급 규모의 오픈소스 AI 모델 대비 한국어와 영어에서도 우수한 벤치마크 성능을 확보했다. 아울러 엑사원 3.0은 연구 목적으로 누구나 자유롭게 활용할 수 있다..

엑사원 3.0은 텐서RT-LLM(TensorRT-LLM) SDK를 기반으로 효율적인 비용으로 모델을 배포할 수 있도록 지원한다.

LG AI연구원은 엑사원 3.0을 바탕으로 개발된 엔터프라이즈 AI 에이전트(Enterprise AI Agent)인 챗엑사원(ChatEXAONE)도 공개했다. LG 그룹사를 대상으로 오픈 베타 서비스로 우선 출시된 챗엑사원은 기업 사용자의 업무 효율성을 높이고 전문가 수준의 인사이트를 제공한다.

또한 LG 그룹사 내에서도 엑사원은 다양하게 활용되고 있다. LG유플러스에서는 엑사원 기반의 통신, 플랫폼 데이터 특화의 생성형 AI인 익시젠(ixi-GEN)을 출시한 바 있다.

이번에 출시된 엑사원 3.0은 다양한 목적에 맞게 구성된 엑사원 3.0 언어모델 라인업 중에서 7.8B 인스트럭션 튠드(Instruction Tuned) 모델을 오픈소스로 공개한 것이다. 엑사원 3.0과 관련한 자세한 내용은 허깅페이스(Hugging Face)의 리포지토리와 테크니컬 리포트에서도 확인할 수 있다.

엔비디아 네모 프레임워크

엔비디아 네모는 어디서든 생성형 AI 모델을 구축, 맞춤화, 배포할 수 있는 엔드 투 엔드 프레임워크다. 생성형 AI용 엔비디아 네모를 통해 아래를 포함한 다양한 이점을 경험할 수 있다.

• 엔드 투 엔드 파이프라인: 데이터 처리, 훈련에서 생성형 AI 모델의 추론에 이르는 거대 언어 모델(Large Language Model, LLM) 파이프라인 전반의 완전한 솔루션을 제공한다.

• 투자 대비 수익률(ROI) 증가: LLM을 빠르게 훈련하고, 맞춤화하며, 규모별로 배포해 솔루션 구축 시간을 단축한다.

• 가속화된 성능: 멀티 노드, 멀티 GPU 훈련과 추론을 통해 처리량을 극대화하고 LLM 훈련시간을 최소화한다.

엔비디아 텐서RT-LLM

텐서RT-LLM은 엔비디아 AI 플랫폼에서 최신 LLM의 추론 성능을 가속화하고 최적화하는 오픈 소스 라이브러리다. 이는 엔비디아 GPU에서 프로덕트 배포를 위한 최고의 성능을 제공한다.