"생성AI 추론 비용 절감"…프렌들리AI, GPU 최적화 서비스 출시
[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] 인공지능(AI) 기술 개발·적용 과정에서 발생하는 비용의 절감하는 기술을 개발한 프렌들리AI가 생성 AI 모델을 쉽게 활용할 수 있도록 돕는 서비스를 출시했다고 4일 밝혔다. 이번에 출시한 '프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)'는 △연구자 △개발자 △머신러닝 엔지니어 △데이터 과학자 등이 서빙 인프라 관리를 신경 쓸 필요 없이 생성 AI 모델들을 쉽게 사용할 수 있도록 지원한다. 챗GPT의 등장 이후 각광 받는 초거대 AI 분야에서 '학습' 영역은 단기간 집중적으로 대용량·고사양의 그래픽처리장치(GPU)를 필요로 한다. 이후 '추론' 영역은 적은 양의 GPU를 끊김 없이 상시 사용해야 하는 특성을 갖고 있다. 이 때문에 학습에 사용한 인프라를 그대로 추론 인프라로 활용하면 필요 이상의 비용 부담이 발생한다. 프렌
최태범기자
2024.01.04 22:00:00