엔비디아는 지멘스, 폭스콘 등이 자사의 NIM으로 생성형 AI 역량을 강화하고 있다고 밝혔다.

 

 

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)는 전 세계 2,800만 명의 개발자들이 엔비디아 NIM(NVIDIA NIM)을 다운로드해 클라우드, 데이터 센터, 워크스테이션에 배포할 수 있게 됐다고 발표했다.

 

엔비디아NIM 은 AI 모델을 최적화된 컨테이너로 제공하는 추론 마이크로 서비스이다. 이를 사용하면 개발자들은 코파일럿, 챗봇 등의 생성형AI애플리케이션 을 몇 주가 아닌 단 몇 분만에 쉽게 구축할 수 있다.

 

점점 복잡해지고 있는 생성형 AI 애플리케이션은 텍스트, 이미지, 비디오, 음성 등을 생성하기 위해 다양한 기능을 가진 여러 모델을 자주 활용한다. 엔비디아 NIM은 생성형 AI를 개발자들의 애플리케이션에 추가하는 간단하고 표준화된 방법을 제공함으로써 생산성을 크게 향상시킨다.

또한 NIM을 통해 기업들은 인프라 투자를 극대화할 수 있다. 예를 들어, NIM에서 메타 라마 3-8B(Meta Llama 3-8B) 모델을 실행하면, NIM을 사용하지 않을 때보다 가속화된 인프라에서 최대 3배 더 많은 생성형 AI 토큰을 생성할 수 있다. 이를 통해 기업은 효율성을 높이고 동일한 컴퓨팅 인프라를 사용하더라도 더 많은 응답을 생성할 수 있다.

 

케이던스(Cadence), 클라우데라(Cloudera), 코히시티(Cohesity), 데이터스택스(DataStax), 넷앱(NetApp), 스케일 AI(Scale AI), 시높시스(Synopsys)를 포함한 거의 200개의 기술 파트너가 NIM을 그들의 플랫폼에 통합하고 있다. 이들은 이를 통해 코파일럿, 코드 비서, 디지털 휴먼 아바타 등 도메인 특화 애플리케이션을 위한 생성형 AI 배포 속도를 높일 수 있다.. 허깅페이스(Hugging Face)는 현재 메타 라마 3부터 NIM을 제공하고 있다.

 

엔비디아 설립자 겸 CEO인 젠슨 황(Jensen Huang)은 “모든 기업이 자사 운영에 생성형 AI를 도입하고자 하지만, 모든 기업이 전담 AI 연구팀을 보유하고 있는 것은 아니다. 플랫폼 전반에 통합되고, 어디서나 개발자들이 사용할 수 있고, 어디서나 실행될 수 있는 엔비디아 NIM은 기술 업계가 생성형 AI를 모든 기업에서 활용할 수 있도록 지원한다”고 말했다.

 

엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼을 통해 기업들은 NIM으로 운영 중인 AI 애플리케이션을 배포할 수 있다. 다음달부터 엔비디아 개발자 프로그램(Developer Program) 회원은 자신이 선호하는 인프라에서 연구, 개발, 테스트를 위해 NIM을 무료로 사용할 수 있다.

 

다양한 형태의 차세대 AI 모델을 지원하는 40개 이상의 NIM 마이크로서비스

 

NIM 컨테이너는 GPU 가속 추론을 위한 모델 배포를 가속화하기 위해 사전 구축됐다. 그리고 여기에는 엔비디아 쿠다(CUDA) 소프트웨어, 엔비디아 트라이톤 추론 서버(Triton Inference Server), 엔비디아 텐서RT-LLM(Tensor RT-LLM) 소프트웨어가 포함될 수 있다.

 

이제 40개 이상의 NIM 엔드포인트 모델을 ai.nvidia.com에서 경험할 수 있다. 여기에는 데이터브릭스 DBRX(Databricks DBRX), 구글(Google)의 오픈 모델 젬마(Gemma), 메타 라마 3, 마이크로소프트 파이-3(Microsoft Phi-3), 미스트랄 라지(Mistral Large), 믹스트랄 8x22B(Mixtral 8x22B), 스노우플레이크 아크틱(Snowflake Arctic) 등이 있다.

 

개발자들은 이제 허깅페이스 AI 플랫폼에서 메타 라마 3 모델을 위한 엔비디아 NIM 마이크로서비스에 액세스할 수 있다. 이를 통해 자신이 선호하는 클라우드에서 엔비디아 GPU로 구동되는 허깅페이스 추론 엔드포인트(Inference Endpoints)를 사용해 몇 번의 클릭만으로 손쉽게 라마 3 NIM에 액세스하고 실행할 수 있다.

 

기업은 NIM을 사용해 텍스트, 이미지, 비디오, 음성, 디지털 휴먼 등을 생성하기 위한 애플리케이션을 실행할 수 있다. 연구원들은 디지털 생물학을 위한 엔비디아 바이오네모(BioNeMo) NIM 마이크로서비스를 통해 새로운 단백질 구조를 구축함으로써 신약 발견을 가속화할 수 있다.

 

수십 여개의 헬스케어 기업들은 수술 계획, 디지털 비서, 약물 발견, 임상 시험 최적화 등의 다양한 응용 분야에 생성형 AI 추론 기술을 강화하기 위해 NIM을 배포하고 있다.

 

새로운 엔비디아 ACE NIM 마이크로서비스를 통해 개발자는 고객 서비스, 원격 의료, 교육, 게임, 엔터테인먼트용 애플리케이션에서 사실적인 대화형 디지털 휴먼을 쉽게 구축하고 운영할 수 있다.

 

NIM을 도입한 수백 개의 AI 생태계 파트너들

 

캐노니컬(Canonical), 레드햇(Red Hat), 뉴타닉스(Nutanix), VM웨어(VMware, 브로드컴(Broadcom)에 인수) 등 플랫폼 제공업체들은 오픈소스 케이서브(Kserve) 또는 엔터프라이즈 솔루션에 NIM을 지원하고 있다. AI 애플리케이션 기업인 히포크라틱 AI(Hippocratic AI), 글린(Glean), 키네티카(Kinetica), 레디스(Redis) 등도 생성형 AI 추론을 위해 NIM을 배포하고 있다.

 

선도적인 AI 도구와 MLOps 파트너들도 NIM을 자사 플랫폼에 탑재해 개발자들이 도메인 특화 생성형 AI 애플리케이션을 최적화된 추론으로 구축하고 배포할 수 있게 지원하고 있다. 여기에는 아마존 세이지메이커(Amazon SageMaker), 마이크로소프트 애저 AI(Azure AI), 데이터이쿠(Dataiku), 데이터로봇(DataRobot), 딥셋(deepset), 도미노 데이터 랩(Domino Data Lab), 랭체인(LangChain), 라마 인덱스(Llama Index), 리플리케이트(Replicate), 새턴 클라우드(Saturn Cloud), 런.ai(Run.ai), 시큐리티 AI(Securiti AI), 웨이츠 앤드 바이어시스(Weights & Biases) 등이 있다.

 

글로벌 시스템 통합업체와 서비스 제공업체인 액센츄어(Accenture), 딜로이트(Deloitte), 인포시스(Infosys), 레이턴트뷰(Latentview), 퀀티파이(Quantiphi), 소프트서브(SoftServe), TCS, 위프로(Wipro)는 전 세계 기업들이 프로덕션 AI 전략을 신속하게 개발하고 배포할 수 있도록 NIM 역량을 구축하고 있다.

 

기업들은 거의 모든 곳에서 NIM 지원 애플리케이션을 실행할 수 있다. 여기에는 글로벌 인프라 제조업체인 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 레노버(Lenovo), 슈퍼마이크로(Supermicro)는 물론 서버 제조업체인 애즈락 랙(ASRock Rack), 에이수스(ASUS), 기가바이트(GIGABYTE), 인그라시스(Ingrasys), 인벤텍(Inventec), 페가트론(Pegatron), QCT, 위스트론(Wistron), 위윈(Wiwynn)의 엔비디아 인증 시스템(Certified Systems™)을 포함한다. 또한, NIM 마이크로서비스는 아마존 웹 서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 애저, 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure)에도 통합됐다.

 

NIM으로 생성형 AI 역량을 강화하는 업계 강자들

 

폭스콘(Foxconn), 페가트론, 암독스(Amdocs), 로우즈(Lowe’s), 서비스나우(ServiceNow), 지멘스(Siemens) 등 업계 선도기업들이 제조, 의료, 금융 서비스, 유통, 고객 서비스 등 다양한 분야에서 NIM을 활용해 생성형 AI 애플리케이션을 구현하고 있다.

 

폭스콘: 세계 최대 전자제품 제조업체인 폭스콘은 스마트 제조, 스마트 시티, 스마트 전기차를 위한 AI 공장의 다양한 내부 시스템과 프로세스에 내장된 도메인 특화 거대 언어 모델(large language model, LLM)을 개발하는데 NIM을 사용하고 있다.

 

페가트론: 대만 전자제품 제조업체인 페가트론은 산업용 현지 LLM 개발을 촉진하기 위해 설계된 대만 전문가 혼합 모델인 프로젝트 TaME(Project TaME)에 NIM을 활용하고 있다.

 

암독스: 통신 및 미디어 회사에 소프트웨어와 서비스를 제공하는 글로벌 공급업체인 암독스는 NIM을 사용해 고객 청구 LLM을 실행하고 있다. 이를 통해 토큰 비용을 크게 낮추고 정확도를 최대 30% 향상시키며 지연 시간을 80% 단축해 실시간에 가까운 응답서비스를 제공하고 있다.

 

로우즈: 포춘(FORTUNE)이 선정한 50대 소매업체 중 하나인 로우즈는 다양한 사용 사례에 생성형 AI를 사용하고 있으며, 직원과 고객의 경험을 향상하기 위해 엔비디아 NIM 추론 마이크로서비스를 활용하고 있다.

 

서비스나우: 서비스나우는 비즈니스 혁신을 위한 AI 플랫폼이다. 서비스나우는 올해 초 NIM 마이크로서비스에 액세스할 수 있게 됐다고 발표했다. 이를 통해 빠르고 확장 가능하며, 비용 효율적인 LLM 개발과 배포를 지원한다. 나우 AI(Now AI) 멀티모달 모델 내에 통합된 NIM 마이크로서비스는 서비스나우의 생성형 AI인 나우 어시스트(Now Assist)를 설치한 고객이라면 누구나 사용할 수 있다.

 

지멘스: 산업, 인프라, 운송, 의료 분야 등에 주력하는 글로벌 기술 기업인 지멘스는 자사의 운영 기술을 작업 현장 AI 워크로드를 위한 NIM 마이크로서비스와 통합하고 있다. 또한 NIM을 사용해 기계 작업자를 위한 산업용 코파일럿의 온프레미스 버전을 구축하고 있다.

 

 

 

이용 정보

 

개발자들은 ai.nvidia.com에서 엔비디아 마이크로서비스를 무료로 이용해볼 수 있다. 기업은 엔비디아 인증 시스템과 주요 클라우드 플랫폼에서 실행되는 엔비디아 AI 엔터프라이즈를 통해 프로덕션 수준의 NIM 마이크로서비스를 배포할 수 있다. 다음 달부터 엔비디아 개발자 프로그램 회원은 연구와 테스트를 위해 NIM에 무료로 액세스할 수 있다.