유니콘팩토리

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] 생성형 인공지능(AI) 인프라 기업 프렌들리AI가 미국 캘리포니아주 새너제이 컨벤션센터에서 열리는 엔디비아 AI 콘퍼런스 'GTC 2024'에 참가, 자사 기술과 서비스를 선보인다고 19일 밝혔다. 프렌들리AI는 생성형 AI 모델을 배포해 서비스하고 학습할 수 있는 인프라를 제공하는 스타트업이다. △맞춤 생성형 AI 모델을 만들고 서빙할 수 있는 '프렌들리 데디케이트 포인트' △서버리스 형태로 생성형 AI 모델을 제공하는 '프렌들리 서버리스 엔드포인트' △기업이 원하는 모델을 올려서 직접 사용할 수 있는 '프렌들리 컨테이너' 등의 서비스를 운영 중이다. 21일(현지시간)까지 열리는 엔비디아 GTC 2024에서는 자체 개발한 프렌들리 엔진으로 기존보다 최대 수십배 비용을 절감하고, 모델 크기가 큰 생성형 AI 모델도 쉽게 서비스 하는 과정을 시연한다. 또한 맞춤형

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] 인공지능(AI) 기술 개발·적용 과정에서 발생하는 비용의 절감하는 기술을 개발한 프렌들리AI가 생성 AI 모델을 쉽게 활용할 수 있도록 돕는 서비스를 출시했다고 4일 밝혔다. 이번에 출시한 '프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)'는 △연구자 △개발자 △머신러닝 엔지니어 △데이터 과학자 등이 서빙 인프라 관리를 신경 쓸 필요 없이 생성 AI 모델들을 쉽게 사용할 수 있도록 지원한다. 챗GPT의 등장 이후 각광 받는 초거대 AI 분야에서 '학습' 영역은 단기간 집중적으로 대용량·고사양의 그래픽처리장치(GPU)를 필요로 한다. 이후 '추론' 영역은 적은 양의 GPU를 끊김 없이 상시 사용해야 하는 특성을 갖고 있다. 이 때문에 학습에 사용한 인프라를 그대로 추론 인프라로 활용하면 필요 이상의 비용 부담이 발생한다. 프렌