망고부스트, AI 추론 성능 높이는 'Mango LLMBoost' 발표

망고부스트는 AI 추론 성능과 효율성을 획기적으로 향상시키는 시스템 최적화 소프트웨어 'Mango LLMBoost'를 공식 출시했다고 밝혔다. 망고부스트는 Mango LLMBoost가 효과적인 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 Prefetching 기술 및 최신 GPU를 최대한 활용한 모델 양자화 기술을 통해 타 LLM 추론 엔진 대비 최대 12.6배의 상대적 성능 향상과 92%의 비용 절감을 달성한다고 밝혔다.