본문으로 건너뛰기

JetBrains

JetBrains/Mellum2-12B-A2.5B-Base

Mellum2-12B-A2.5B-Base: mlxcel의 텍스트 생성·API 서빙 명령을 구성하는 레시피입니다.

이 레시피 시작하기Hugging Face에서 보기
모델 상세 정보
분류밀집파라미터2.5B/12B컨텍스트131,072백엔드CUDA, METAL, ROCM작업채팅
레시피 작성 방식 · 기록된 설정의 실행 검증

레시피 작성 방식: 자동 생성

선별과 자동 생성은 레시피를 작성한 방식을 뜻하며, 실행 성공 여부를 뜻하지 않습니다.

기록된 설정의 실행 검증

현재 설정과 일치하는 실행 검증 기록이 없습니다.

기록은 명시한 장비의 테스트 당시 기본 설정에 적용됩니다. 릴리스 마이너 버전, 모델 변형(variant)과 렌더링 해시가 일치해야 표시되며, 옵션을 바꾸면 새 설정의 검증을 뜻하지 않습니다.

실제 장비를 선택하세요. 브라우저는 GPU 메모리를 감지할 수 없습니다.

실행 명령 만들기

하드웨어
체크포인트 버전

JetBrains/Mellum2-12B-A2.5B-Base

모드: 서버
고급
모드
컨텍스트

컨텍스트 길이의 단위는 토큰입니다. 슬라이더를 움직이거나 숫자를 입력하세요.

슬롯
기능
선택한 모드에서는 이 기능을 사용할 수 없습니다.
메모리 추정: 사용할 수 없는 이유

선택한 모드에서는 이 기능을 사용할 수 없습니다.

예상 메모리 사용량

근사치

GB 단위의 대략적인 메모리 배분이며, 실측 최대 사용량이 아닙니다.

  • 가중치: ≈ 22.4 GB
  • KV 캐시: ≈ 0.4 GB
  • 드래프터: ≈ 0.0 GB
  • 런타임 여유분: ≈ 2.9 GB

사용 가능 메모리 ≈ 36.0 GB 중 ≈ 10.3 GB가 남을 것으로 예상합니다.

다음: 실행 파일 준비

참고 사항

  • Apple Silicon에서는 bf16 가중치가 f16으로 실행됩니다.
  • 이 하드웨어 등급은 가까운 측정값에서 추정했습니다.

1. 설치

터미널에서 설치하세요. 캐시에 없는 모델 ID는 처음 사용할 때 자동으로 다운로드됩니다.

MLXCEL_INSTALL_DIR="${MLXCEL_INSTALL_DIR:-$HOME/.local/share/mlxcel}" \
  && mkdir -p "$MLXCEL_INSTALL_DIR" \
  && curl -fL -o "$MLXCEL_INSTALL_DIR/mlxcel.zip" https://github.com/lablup/mlxcel/releases/download/v0.8.1/mlxcel-macos-aarch64.zip \
  && unzip -o "$MLXCEL_INSTALL_DIR/mlxcel.zip" -d "$MLXCEL_INSTALL_DIR/mlxcel-macos-aarch64" \
  && export PATH="$MLXCEL_INSTALL_DIR/mlxcel-macos-aarch64:$PATH" \
  && mlxcel --version
설치 및 다운로드 도움말

터미널에서 설치 명령을 실행하세요. 선택한 실행 파일이 PATH에서 검색되어야 합니다. 명령을 찾지 못하면 같은 터미널에서 표시된 PATH 설정을 다시 적용하세요.

모델 ID는 처음 사용할 때 자동으로 다운로드됩니다. 선택적인 다운로드 명령으로 체크포인트를 미리 준비할 수도 있습니다. 캐시에 없는 모델은 인터넷과 충분한 디스크 공간이 필요하며, 접근 제한 모델은 승인과 인증 정보도 필요합니다.

2. 실행

준비를 마친 같은 터미널에서 실행하세요. 서버 모드는 준비 또는 수신 대기 메시지가 나온 뒤에도 실행 상태로 두세요. 메모리가 부족하면 작은 체크포인트를 고르거나 고급 설정에서 컨텍스트와 동시 실행 수를 줄이세요.

전체 복사는 선택한 설치, 체크포인트 다운로드, 표시된 실행 명령을 이 순서로 포함합니다. 같은 셸에서 실행하세요. 다중 노드 명령은 해당 장비에서 각각 실행합니다.

mlxcel serve

이 설치는 전체 CLI를 제공합니다. mlxcel serve를 사용하세요. 독립 서버를 사용하려면 소스 빌드를 선택하세요.

mlxcel serve -m JetBrains/Mellum2-12B-A2.5B-Base --alias mellum2-12b-a2.5b-base \
  --ctx-size 8192 --n-parallel 4
명령어 옵션 도움말
-m
모델 또는 체크포인트 저장소를 선택합니다.
--alias
API 클라이언트가 사용할 서빙 모델 이름을 지정합니다.
--ctx-size
요청에 사용할 최대 컨텍스트 창을 지정합니다.
--n-parallel
서버 병렬 슬롯 수를 지정합니다.

3. 첫 결과 확인

서버가 준비되면 두 번째 터미널을 사용하세요. 텍스트 채팅 요청은 JSON의 choices[0].message.content에 응답하며, 특화 엔드포인트는 해당 작업의 결과를 반환합니다. 예시 파일 경로가 있으면 자신의 입력으로 바꾸세요. 연결 거부 오류가 나면 서버 주소·포트와 터미널 로그를 확인하세요. 모델 접근·다운로드 오류는 모델 ID, 권한, 인터넷 연결과 디스크 여유 공간을 확인하세요.

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"mellum2-12b-a2.5b-base","messages":[{"role":"user","content":"Hello"}]}'

성능 측정 근거

선택한 체크포인트와 하드웨어 조합의 벤치마크 기록이 없습니다. 명령과 메모리 추정치는 카탈로그의 모델 정보를 사용합니다.

메모리 적합성은 모델 정보로 계산한 추정치이며, 처리량 측정이나 추론 성공 검증과 별개입니다.

이 하드웨어의 측정값은 아직 없습니다. 관련 프로파일은 패밀리 페이지를 참고하세요. 패밀리

실행 준비 조건

  • 선택한 하드웨어에 맞는 mlxcel 빌드를 설치하고 선택한 체크포인트의 메모리 추정치를 확인하세요.
  • 캐시에 없는 체크포인트를 다운로드할 인터넷 연결과 디스크 공간이 필요합니다. 접근 제한이 있는 체크포인트는 Hugging Face 승인을 먼저 받으세요.

레시피 옵션

  • • 이 레시피는 모델 레지스트리와 체크포인트 정보를 바탕으로 작성했습니다. 이 레시피의 추론 동작은 아직 검증하지 않았습니다.

패밀리

Mellum 2 (JetBrains code)

밀집

같은 패밀리 레시피

대기 중

가이드

Mellum2-12B-A2.5B-Base

개요

Mellum2-12B-A2.5B-Base: mlxcel의 텍스트 생성·API 서빙 명령을 구성하는 레시피입니다. 이 레시피는 모델 레지스트리와 체크포인트 정보를 바탕으로 작성했습니다. 이 레시피의 추론 동작은 아직 검증하지 않았습니다.

사전 요구 사항

mlxcel을 설치한 다음 체크포인트를 다운로드하세요.

mlxcel download JetBrains/Mellum2-12B-A2.5B-Base

참고 자료