Qwen

Qwen/Qwen3-4B

mlxcel의 추론, 도구 호출, KV 캐시 설정을 활용하는 4B 밀집형 채팅 모델입니다.

이 레시피 시작하기 Hugging Face에서 보기

모델 상세 정보

분류밀집파라미터4.02B컨텍스트40,960백엔드CUDA, METAL작업채팅, 추론, 도구 호출

레시피 작성 방식 · 기록된 설정의 실행 검증

레시피 작성 방식: 선별

선별과 자동 생성은 레시피를 작성한 방식을 뜻하며, 실행 성공 여부를 뜻하지 않습니다.

기록된 설정의 실행 검증

현재 설정과 일치하는 실행 검증 기록이 없습니다.

기록은 명시한 장비의 테스트 당시 기본 설정에 적용됩니다. 릴리스 마이너 버전, 모델 변형(variant)과 렌더링 해시가 일치해야 표시되며, 옵션을 바꾸면 새 설정의 검증을 뜻하지 않습니다.

실제 장비를 선택하세요. 브라우저는 GPU 메모리를 감지할 수 없습니다.

실행 명령 만들기

하드웨어

체크포인트 버전

mlx-community/Qwen3-4B-4bit

모드: 서버

고급

모드

컨텍스트

컨텍스트 길이의 단위는 토큰입니다. 슬라이더를 움직이거나 숫자를 입력하세요.

슬롯

기능

메모리 추정: 사용할 수 없는 이유

선택한 모드에서는 이 기능을 사용할 수 없습니다.

예상 메모리 사용량

근사치

GB 단위의 대략적인 메모리 배분이며, 실측 최대 사용량이 아닙니다.

가중치: ≈ 2.1 GB
KV 캐시: ≈ 1.1 GB
드래프터: ≈ 0.0 GB
런타임 여유분: ≈ 1.3 GB

사용 가능 메모리 ≈ 16.1 GB 중 ≈ 11.5 GB가 남을 것으로 예상합니다.

다음: 실행 파일 준비

참고 사항

이 하드웨어 등급은 가까운 측정값에서 추정했습니다.

1. 설치

터미널에서 설치하세요. 캐시에 없는 모델 ID는 처음 사용할 때 자동으로 다운로드됩니다.

MLXCEL_INSTALL_DIR="${MLXCEL_INSTALL_DIR:-$HOME/.local/share/mlxcel}" \
  && mkdir -p "$MLXCEL_INSTALL_DIR" \
  && curl -fL -o "$MLXCEL_INSTALL_DIR/mlxcel.zip" https://github.com/lablup/mlxcel/releases/download/v0.8.1/mlxcel-macos-aarch64.zip \
  && unzip -o "$MLXCEL_INSTALL_DIR/mlxcel.zip" -d "$MLXCEL_INSTALL_DIR/mlxcel-macos-aarch64" \
  && export PATH="$MLXCEL_INSTALL_DIR/mlxcel-macos-aarch64:$PATH" \
  && mlxcel --version

설치 및 다운로드 도움말

터미널에서 설치 명령을 실행하세요. 선택한 실행 파일이 PATH에서 검색되어야 합니다. 명령을 찾지 못하면 같은 터미널에서 표시된 PATH 설정을 다시 적용하세요.

모델 ID는 처음 사용할 때 자동으로 다운로드됩니다. 선택적인 다운로드 명령으로 체크포인트를 미리 준비할 수도 있습니다. 캐시에 없는 모델은 인터넷과 충분한 디스크 공간이 필요하며, 접근 제한 모델은 승인과 인증 정보도 필요합니다.

2. 실행

준비를 마친 같은 터미널에서 실행하세요. 서버 모드는 준비 또는 수신 대기 메시지가 나온 뒤에도 실행 상태로 두세요. 메모리가 부족하면 작은 체크포인트를 고르거나 고급 설정에서 컨텍스트와 동시 실행 수를 줄이세요.

전체 복사는 선택한 설치, 체크포인트 다운로드, 표시된 실행 명령을 이 순서로 포함합니다. 같은 셸에서 실행하세요. 다중 노드 명령은 해당 장비에서 각각 실행합니다.

mlxcel serve

이 설치는 전체 CLI를 제공합니다. mlxcel serve를 사용하세요. 독립 서버를 사용하려면 소스 빌드를 선택하세요.

mlxcel serve -m mlx-community/Qwen3-4B-4bit --alias qwen3-4b \
  --ctx-size 8192 --n-parallel 4

명령어 옵션 도움말

-m: 모델 또는 체크포인트 저장소를 선택합니다.
--alias: API 클라이언트가 사용할 서빙 모델 이름을 지정합니다.
--ctx-size: 요청에 사용할 최대 컨텍스트 창을 지정합니다.
--n-parallel: 서버 병렬 슬롯 수를 지정합니다.

3. 첫 결과 확인

서버가 준비되면 두 번째 터미널을 사용하세요. 텍스트 채팅 요청은 JSON의 choices[0].message.content에 응답하며, 특화 엔드포인트는 해당 작업의 결과를 반환합니다. 예시 파일 경로가 있으면 자신의 입력으로 바꾸세요. 연결 거부 오류가 나면 서버 주소·포트와 터미널 로그를 확인하세요. 모델 접근·다운로드 오류는 모델 ID, 권한, 인터넷 연결과 디스크 여유 공간을 확인하세요.

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3-4b","messages":[{"role":"user","content":"Hello"}]}'

성능 측정 근거

선택한 체크포인트와 하드웨어 조합의 벤치마크 기록이 없습니다. 명령과 메모리 추정치는 카탈로그의 모델 정보를 사용합니다.

메모리 적합성은 모델 정보로 계산한 추정치이며, 처리량 측정이나 추론 성공 검증과 별개입니다.

이 하드웨어의 측정값은 아직 없습니다. 관련 프로파일은 패밀리 페이지를 참고하세요. 패밀리

실행 준비 조건

선택한 하드웨어에 맞는 mlxcel 빌드를 설치하고 선택한 체크포인트의 메모리 추정치를 확인하세요.
캐시에 없는 체크포인트를 다운로드할 인터넷 연결과 디스크 공간이 필요합니다. 접근 제한이 있는 체크포인트는 Hugging Face 승인을 먼저 받으세요.

레시피 옵션

• OpenAI 호환 채팅 응답은 추론을 reasoning_content에, 답변을 content에 반환합니다. 추론 표시 여부는 클라이언트에 따라 다릅니다.

패밀리

Qwen 3

밀집

같은 패밀리 레시피

대기 중

가이드

개요

Qwen3-4B는 채팅과 추론용 밀집 모델입니다. 이 레시피에서 mlxcel의 추론 과정 제어, 도구 호출, KV 캐시 양자화, LoRA 로딩, 메모리 추정을 사용할 수 있습니다.

사전 요구 사항

mlx-community/Qwen3-4B-4bit로 시작하거나 메모리가 충분하고 압축률이 낮은 체크포인트가 필요하면 mlx-community/Qwen3-4B-8bit를 선택하세요. 원본 Qwen/Qwen3-4B bf16 체크포인트도 레시피에 포함됩니다. Apple Silicon에서는 mlxcel이 양자화되지 않은 bf16 가중치를 로드할 때 f16으로 변환합니다.

주의 사항

추론 과정은 채팅 템플릿 인자와 --reasoning-budget으로 제어하므로 일반 샘플링 옵션과 구분해서 설정하세요. kv_int8과 turbo_kv는 동시에 사용할 수 없습니다. KV 캐시 압축 방식은 하나만 선택하고 --ctx-size를 늘리기 전에 --estimate-memory를 실행하세요.