[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] AI(인공지능) 모델 경량화 기술을 개발한 스퀴즈비츠는 인텔 AI 가속기 '가우디'(Gaudi-2)의 성능 평가를 수행해 작성한 논문이 세계 최고 권위의 컴퓨터 아키텍처 학회인 'ISCA'에서 공식 채택됐다고 24일 밝혔다. 올해 52회를 맞은 ISCA는 전기전자공학자협회(IEEE)와 컴퓨터학회(ACM)가 주최하는 국제 학술대회로, 컴퓨터 아키텍처 분야에서 세계 최고 권위의 학회로 꼽힌다. 논문 채택률이 20% 미만일 정도로 경쟁이 치열하다. 스퀴즈비츠는 네이버클라우드, 유민수 카이스트 교수 연구실과 함께 다양한 AI 응용 환경에서 가우디의 성능과 전력 효율성을 분석하고, 엔비디아 GPU(그래픽처리장치) 대비 가우디의 경쟁력을 종합적으로 평가했다. LLM(거대언어모델)을 활용한 서비스 환경에서는 가우디2가 평균 50%의 효율 개선을 달성하며, 엔비디아 A100 대

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] AI(인공지능) 경량화·최적화 스타트업 스퀴즈비츠가 기업 고객들이 자사의 서비스에 대규모언어모델(LLM)을 손쉽게 연동할 수 있는 솔루션인 '핏츠 온 칩스(Fits on Chips)'를 출시했다고 4일 밝혔다. 핏츠 온 칩스는 기업이 LLM을 활용해 서비스를 제공하는 'LLM 서빙'의 전 과정을 단순·최적화하는 솔루션이다. 모델 선택 단계부터 서빙 옵션 조정, 장치 및 프레임워크 설정, 성능 평가, 배포까지 필요한 모든 단계를 지원한다. 스퀴즈비츠 측은 "허깅페이스 등 오픈소스 라이브러리와 연동해 다양한 LLM 모델을 손쉽게 통합하고 성능을 비교 평가해 최적의 LLM 서빙 설정 값을 찾아 적용하는 방식"이라며 "이를 통해 엔지니어의 작업 시간을 10분의 1로, 비용은 약 2배 이상 절약할 수 있다"고 설명했다. 스퀴즈비츠는 최근 인텔, 네이버와 함께 인텔의 가우디

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] AI(인공지능) 경량화 전문 스타트업 스퀴즈비츠가 SaaS(서비스형 소프트웨어)형태의 경량화 툴킷 '아울라이트(OwLite)'를 출시했다고 21일 밝혔다. 아울라이트는 AI모델을 개발하는 기업고객들이 자사 프로젝트에 스퀴즈비츠의 데이터 경량화 기술을 쉽고 빠르게 적용할 수 있도록 한 SaaS 제품이다. 스퀴즈비츠는 "아울라이트를 통해 AI의 추론 속도를 평균 3.6배, 메모리 사용량을 평균 4배 개선할 수 있다"고 강조했다. 아울라이트는 경량화 기술 적용 효과를 AI모델 개발 단계에서부터 평가하고 분석할 수 있는 기능도 제공한다. 모델 경량화 뿐만 아니라 엔진 빌드, 성능 확인, 비교 및 분석까지 전체적인 시스템을 지원한다는 설명이다. 스퀴즈비츠는 많은 사람들이 AI경량화를 경험해볼 수 있도록 아울라이트의 기본 기능을 오픈소스로 공개하고 있다. 2022년 창업한

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] 한 달에 18억명이 이용한다는 챗GPT의 하루 운영비는 얼마일까? 업계에서는 챗GPT를 하루 운영하는데 약 70만달러(9억4000만원)가 소요된다고 추정한다. 초거대 AI를 가동시키기 위해서는 막대한 데이터센터 운영비와 전기요금이 발생해서다. 오픈AI가 챗GPT 신드롬을 일으키고도 2022년 5억4000만달러(7200억원)의 적자를 기록한 이유다. 이에 AI업계에서는 '더 뛰어난 AI모델만큼 운영비용 절감'이 화두로 떠오르고 있다. AI모델을 활용한 서비스가 확산되기 위해서는 비용을 줄이는게 무엇보다 중요하다는 판단에서다. 포스텍 대학원 딥러닝 가속기 하드웨어(NPU) 연구팀이 창업한 스타트업 스퀴즈비츠도 AI의 운용비를 낮춰주는 'AI 경량화' 솔루션을 개발하고 있다. 데이터를 이른바 압축시키는 기술로 AI 구동 시 하드웨어 연산을 간소화해 비용을 절감시키는 기

[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] 인공지능(AI) 경량화 기술 스타트업 스퀴즈비츠(SqueezeBits)가 카카오벤처스, 삼성넥스트, 포스코기술투자, 포스텍홀딩스로부터 25억 원규모의 프리시리즈A 투자를 유치했다고 23일 밝혔다. 스퀴즈비츠는 AI 기반 서비스를 효율적으로 사용하도록 돕는 AI 경량화 기술을 개발하고 있다. 경량화 기술을 적용하면 AI 모델 추론 과정에서 필요한 메모리 사용량과 연산량을 줄일 수 있어 빠른 계산이 가능하다. 스퀴즈비츠의 기술은 AI 모델 성능을 유지하면서 32비트 데이터를 4비트 이하로 양자화하는 게 특징이다. 이는 더 빠르고 가벼운 AI 모델을 만드는 핵심 기술로 평가된다 양자화된 모델을 기존 하드웨어에서도 효율적으로 연산할 수 있는 소프트웨어 엔진도 보유했다. 챗GPT 등 수많은 AI 기반 서비스가 출시됐지만 AI 대중화의 가장 큰 걸림돌인 운영 비용을 절감할