임베딩 및 재순위화 API¶

# 임베딩 전용
mlxcel-server -m sentence-transformers/all-MiniLM-L6-v2 --port 8080

# 교차 인코더 재순위화 전용
mlxcel-server -m BAAI/bge-reranker-v2-m3 --port 8080

# 대화와 두 보조 제공자를 함께 실행
mlxcel-server \
  -m mlx-community/Qwen3-4B-4bit \
  --embedding-model Qwen/Qwen3-Embedding-0.6B \
  --reranker-model mlx-community/Qwen3-Reranker-0.6B-4bit \
  --port 8080

{
  "model": "선택 사항인 서빙 모델 식별자",
  "input": ["query: 벡터 검색", "passage: 최근접 이웃 검색"],
  "encoding_format": "float",
  "dimensions": 256,
  "instruction": "선택 사항인 모델 계열별 질의 지시문",
  "embd_normalize": 2,
  "user": "받지만 사용하지 않음"
}

{
  "input": [
    {"type": "text", "text": "빨간색 차트"},
    {"type": "image_url", "image_url": {"url": "file:///data/chart.png"}}
  ]
}

{
  "object": "list",
  "data": [
    {"object": "embedding", "index": 0, "embedding": [0.01, 0.02, 0.03]}
  ],
  "model": "all-MiniLM-L6-v2",
  "usage": {"prompt_tokens": 7, "total_tokens": 7}
}

curl -s http://localhost:8080/embedding \
  -H 'Content-Type: application/json' \
  -d '{"content":"hello"}'

[
  {"index": 0, "embedding": [[0.01, 0.02, 0.03]]}
]

{
  "model": "선택 사항인 서빙 재순위화 모델 식별자",
  "query": "벡터 검색이란 무엇인가?",
  "documents": [
    "벡터 검색은 가까운 임베딩을 찾는다.",
    "컴파일러는 소스 코드를 번역한다."
  ],
  "top_n": 1,
  "return_documents": true,
  "instruction": "선택 사항이며 생성형 재순위화 모델만 사용",
  "user": "받지만 사용하지 않음"
}

{
  "query": {"text": "매출 차트를 찾아라", "image_url": {"url": "query.png"}},
  "documents": [
    {"text": "분기별 매출", "image": "chart.png"},
    {"image": {"url": "photo.png"}}
  ],
  "top_n": 2,
  "return_documents": true
}

{
  "model": "bge-reranker-v2-m3",
  "object": "list",
  "results": [
    {
      "index": 0,
      "relevance_score": 0.9948,
      "document": "벡터 검색은 가까운 임베딩을 찾는다."
    }
  ],
  "usage": {"prompt_tokens": 31, "total_tokens": 31}
}

{
  "query": "벡터 검색이란 무엇인가?",
  "texts": ["벡터 검색은 가까운 임베딩을 찾는다.", "컴파일러는 소스 코드를 번역한다."],
  "return_text": true
}

[
  {"index": 0, "score": 0.9948, "text": "벡터 검색은 가까운 임베딩을 찾는다."},
  {"index": 1, "score": 0.0012, "text": "컴파일러는 소스 코드를 번역한다."}
]

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="none")
response = client.embeddings.create(
    model="Qwen3-Embedding-0.6B",
    input=["벡터 검색이란 무엇인가?", "벡터 검색은 가까운 임베딩을 찾는다."],
)
print(response.data[0].embedding[:8])

import httpx

response = httpx.post(
    "http://localhost:8080/v1/rerank",
    json={
        "query": "벡터 검색이란 무엇인가?",
        "documents": [
            "벡터 검색은 가까운 임베딩을 찾는다.",
            "컴파일러는 소스 코드를 번역한다.",
        ],
        "top_n": 1,
        "return_documents": True,
    },
)
response.raise_for_status()
print(response.json()["results"])