콘텐츠로 이동

mlxcel에 오신 것을 환영합니다

mlxcel은 Rust로 작성된 고성능 범용 AI 추론 엔진입니다. 자기회귀 및 블록 디퓨전 생성, 이미지·오디오·비디오 조건부 생성, 음성 인식과 합성, 전이중(full-duplex) 음성 대화, 시퀀스 변환 비전 작업, 객체 검출, 밀집·다중 벡터 임베딩, 텍스트·멀티모달 재순위화를 Apple Silicon GPU, NVIDIA CUDA, 실험 단계인 AMD ROCm(두 GPU 모두 네이티브 Windows 빌드가 있습니다)의 네이티브 MLX C++ 바인딩으로 처리하며 추론 경로에 Python 런타임이 없습니다.

주요 특징

  • 작은 런타임 표면 - 모델 로딩, 스케줄링, 추론이 하나의 네이티브 Rust 서버 프로세스 안에서 이루어지며 Python 환경이나 인터프리터 브리지, 서브프로세스 계층이 필요 없습니다.
  • 단순한 네이티브 배포물 - mlxcel과 mlxcel-server는 네이티브 실행 파일로 빌드되므로, 필요한 플랫폼 런타임 라이브러리만 갖추면 패키징, 서비스 감독, 업그레이드가 단순합니다.
  • llama-server 스타일 운영 - mlxcel-server는 여러 llama-server 호환 플래그와 LLAMA_ARG_* 환경 변수를 받아, llama.cpp 기반 스크립트에서 옮겨 오기 쉽게 설계되어 있습니다.
  • 생성·대화·검색 호환 서버 - HTTP 서버는 SSE 스트리밍과 생성, Responses, Messages, Audio, /v1/embeddings, /v1/rerank와 Nemotron VoiceChat 전이중 음성용 /v1/realtime WebSocket을 지원하며 llama-server 고유 검색 및 유틸리티 경로도 제공합니다.
  • 번들 WebUI - --webui는 별도 프론트엔드 서비스 없이 서버 바이너리에서 관리용 브라우저 UI를 제공하여 모델을 둘러보고, 다운로드하고, 로드하고, 대화할 수 있게 합니다.
  • 실전 서빙 기능 - 지원되는 모델/런타임 조합에서 대부분의 모델 계열에서 네이티브 배치 디코드 경로를 쓰는 연속 배칭, 프롬프트 프리픽스 캐시, Automatic Prefix Caching(APC), 투기적 디코딩(MTP, DFlash, full-model drafter, drafter 없는 prompt lookup), KV 캐시 압축을 사용할 수 있습니다.
  • 런타임 가중치·샘플링 제어 - YAML 기반 로드 시점 모델 변환(scale, add, prune, replace, interpolate)과 문자 체계 인식 언어 편향 정책으로 재학습이나 체크포인트 변환 없이 모델 동작을 조정할 수 있습니다.
  • 멀티 디바이스 및 분산 모드 - 일부 모델 계열에서 텐서 병렬성과 파이프라인 병렬성을 구현했고 static 또는 mDNS 기반 discovery를 사용하는 zero-config 파이프라인 시작도 지원합니다.
  • 넓은 모델 계열 지원 - mlxcel arch는 실행 중인 바이너리에 들어 있는 밀집, 전문가 혼합, 하이브리드, 디퓨전, VLM, 임베딩, 재순위화, 객체 검출, 음성 인식·합성 모델 종류를 정확히 보여 줍니다.

문서 사용 방법

mlxcel이 처음이라면 빠른 시작에서 패키지를 설치하고 첫 번째 모델을 실행하는 흐름부터 확인하십시오.

  • 빠른 시작 - 5분 이내에 시작할 수 있습니다.
  • 개념 - mlxcel이 내부적으로 어떻게 동작하는지 파악할 수 있습니다.
  • CLI 명령어 - 대화형 채팅, 텍스트 생성, 임베딩, 후보 재순위화, 메모리 예산 검사, 서버 시작, 모델 스냅숏 관리, 객체 탐지, 커널 실행 설정 측정 방법을 알아봅니다.
  • 고급 추론 및 서빙 - 투기적 디코딩, MTP, DFlash, 블록 디퓨전, 런타임 모델 변환, 임베딩 모델 계약, 검색 후 재순위화 시스템 설계를 학습합니다.
  • 분산 추론 - 여러 GPU에 걸쳐 확장할 수 있습니다.
  • REST API - mlxcel을 애플리케이션에 통합할 수 있습니다.
  • OpenAI 오디오 API - Whisper 전사·번역 또는 Kokoro 음성 합성을 제공합니다.
  • Realtime VoiceChat API - /v1/realtime WebSocket으로 Nemotron VoiceChat 전이중 음성을 스트리밍합니다.

mlxcel은 Lablup Inc.가 개발하였으며 Apache License 2.0에 따라 오픈소스로 공개되어 있습니다.