API 레퍼런스¶

이 섹션은 mlxcel-server가 제공하는 전체 HTTP API를 다룹니다.

서버는 OpenAI 및 Anthropic 호환 생성 인터페이스, OpenAI 호환 임베딩, Jina/Cohere/TEI 호환 재순위화, llama-server 고유 경로를 제공합니다. 기존 클라이언트는 보통 기본 URL만 바꾸어 연결할 수 있지만 경로마다 정확한 응답 형식이 다를 수 있습니다.

--image-model을 지정하면 OpenAI 이미지 경로 /v1/images/generations와 /v1/images/edits도 제공합니다(REST API 참조). 서버는 /v1/embeddings, 고유 /embedding과 /embeddings, 네 가지 재순위화 경로를 제공합니다. 정확한 전송 형식은 임베딩 및 재순위화 API, 모델 계약과 검색 시스템 설계는 임베딩과 재순위화를 참고하십시오.

목차¶

문서	설명
REST API	요청/응답 스키마, 인증, 스트리밍, 오류 코드를 포함한 전체 엔드포인트 레퍼런스
임베딩 및 재순위화 API	OpenAI·llama-server 임베딩 형식, Jina/Cohere/TEI 재순위화, 모델 로딩, 옵션, 오류
OpenAI Responses API	`/v1/responses`, typed SSE 이벤트, store, conversation chaining 집중 가이드
Anthropic Messages API	`/v1/messages`, content block, tool, streaming, token counting 집중 가이드
OpenAI 오디오 API	Whisper 전사·번역과 Kokoro 음성 합성의 형식, 제한, 수락 제어 가이드
Realtime VoiceChat API	Nemotron VoiceChat 전이중 음성을 위한 `/v1/realtime` WebSocket 프로토콜, 세션 메시지, 이벤트, 제한
지원 모델	모델 계열별로 정리된 지원 모델 아키텍처 전체 목록

빠른 시작¶

서버를 시작합니다:

mlxcel-server --model Qwen3.5-0.8B-4bit --port 8080

채팅 요청을 전송합니다:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.5-0.8B-4bit",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

OpenAI SDK 호환성¶

mlxcel은 OpenAI REST 계약을 구현하므로, OpenAI 공식 Python 및 JavaScript SDK를 수정 없이 사용할 수 있습니다:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="none")
response = client.chat.completions.create(
    model="Qwen3.5-0.8B-4bit",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(response.choices[0].message.content)