콘텐츠로 이동

사용 가이드

이 섹션은 mlxcel을 실제로 사용하는 방법을 다룹니다. 각 가이드는 개념을 먼저 설명하고 그다음 설정 방법을 안내합니다.

이 섹션의 문서

  • CLI 명령어 - 오프라인 임베딩, 재순위화, 이미지 생성, 토큰 분류, 덴스 프리디렉션을 포함한 mlxcel의 17개 하위 명령어, 옵션, 기본값 전체 레퍼런스입니다.

  • Python HTTP 클라이언트 - 별도로 실행 중인 mlxcel 서버를 OpenAI Python SDK 또는 일반 HTTP 클라이언트로 호출합니다.

  • 메모리 추정 - mlxcel inspect, --estimate-memory, 정확한 safetensors footprint 계산, KV 캐시 추정, 메모리 한도/headroom 제어로 모델 로드 전에 필요한 메모리를 산정하는 방법을 설명합니다.

  • 서버 모드 - mlxcel을 지속적인 HTTP 서버로 실행하는 방법: 시작, 인증, 엔드포인트 개요, 라이프사이클 관리, 모니터링, 연동 예시를 다룹니다.

  • WebUI - 번들 관리용 브라우저 UI: 시작 방법, 보안 규칙, 모델 없는 시작, Models·Chat·Activity·Settings 화면을 다룹니다.

  • 이미지 생성 - 디퓨전 체크포인트로 이미지를 생성하고 편집하는 방법으로, mlxcel generate-image와 /v1/images 서버 경로를 다룹니다.

  • 비전-언어 모델 - 이미지와 텍스트를 함께 이해하는 모델 사용법으로, VLM 파이프라인, 지원 모델 패밀리, 비전 인코더, 이미지 입력 형식을 설명합니다.

  • 토큰 분류와 스팬 추출 - mlxcel tag로 개체를 태깅하고 마스킹하는 방법과, mlxcel extract로 요청 시점 레이블을 추출하는 방법을 설명합니다.

  • 덴스 프리디렉션과 비전 태스크 - mlxcel predict로 깊이, 노멀, 세그멘테이션, 포인트맵, 키포인트, 메시를 얻는 방법과 mlxcel detect가 박스를 반환하는 방식을 설명합니다.

  • LoRA 어댑터 - 전체 모델을 재학습하지 않고 작업별 또는 스타일별 추론을 위해 기반 모델 위에 파인튜닝된 LoRA 어댑터를 로드하는 방법을 설명합니다.

  • TurboQuant KV 캐시 - 긴 context의 메모리를 줄이기 위해 분리 K/V cache 형식과 TurboQuant mode를 선택하는 방법을 설명합니다.

  • 연속 배칭 - 반복 수준 스케줄링, 청크 프리필, 선점적 축출을 통해 여러 동시 요청을 효율적으로 처리하는 방법을 설명합니다.

  • 성능 튜닝 - mlxcel tune으로 launch configuration을 profile하고 autotune cache를 적용하며 자동 paged, cascade, MLA, sparse attention dispatch를 이해하는 방법을 설명합니다.

  • 프롬프트 캐시 - 반복되거나 공유되는 프롬프트 프리픽스의 KV 상태를 재사용하여 프리필 작업을 줄이는 방법을 설명합니다.

  • 언어 바이어스 - 유니코드 스크립트로 분류된 토큰 집합에 가산 로짓 바이어스를 적용하여 모델 출력의 언어 구성을 제어하는 방법을 설명합니다. Conservative 및 Strict 포함 정책을 제공합니다.

고급 디코딩, load-time 모델 변환, 검색 중심 서빙은 분산 추론 바로 앞의 독립된 고급 추론 및 서빙 장에서 다룹니다.