Meta Llama

meta-llama/Llama-3.1-8B-Instruct

긴 컨텍스트와 mlxcel 서버 또는 CLI 배포 변형을 제공하는 밀집형 지시 학습 모델입니다.

이 레시피 시작하기 Hugging Face에서 보기

모델 상세 정보

분류밀집파라미터8.03B컨텍스트131,072백엔드CUDA, METAL작업채팅, 도구 호출

레시피 작성 방식 · 기록된 설정의 실행 검증

레시피 작성 방식: 선별

선별과 자동 생성은 레시피를 작성한 방식을 뜻하며, 실행 성공 여부를 뜻하지 않습니다.

기록된 설정의 실행 검증

현재 설정과 일치하는 실행 검증 기록이 없습니다.

기록은 명시한 장비의 테스트 당시 기본 설정에 적용됩니다. 릴리스 마이너 버전, 모델 변형(variant)과 렌더링 해시가 일치해야 표시되며, 옵션을 바꾸면 새 설정의 검증을 뜻하지 않습니다.

이 레시피에는 접근 승인이 필요한 체크포인트가 포함되어 있습니다. 다운로드 전에 제공자의 약관에 동의하세요.

실제 장비를 선택하세요. 브라우저는 GPU 메모리를 감지할 수 없습니다.

실행 명령 만들기

하드웨어

체크포인트 버전

mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

모드: 서버

고급

모드

컨텍스트

컨텍스트 길이의 단위는 토큰입니다. 슬라이더를 움직이거나 숫자를 입력하세요.

슬롯

기능

메모리 추정: 사용할 수 없는 이유

선택한 모드에서는 이 기능을 사용할 수 없습니다.

예상 메모리 사용량

근사치

GB 단위의 대략적인 메모리 배분이며, 실측 최대 사용량이 아닙니다.

가중치: ≈ 4.2 GB
KV 캐시: ≈ 1.0 GB
드래프터: ≈ 0.0 GB
런타임 여유분: ≈ 1.3 GB

사용 가능 메모리 ≈ 16.1 GB 중 ≈ 9.6 GB가 남을 것으로 예상합니다.

다음: 실행 파일 준비

참고 사항

이 하드웨어 등급은 가까운 측정값에서 추정했습니다.

1. 설치

터미널에서 설치하세요. 캐시에 없는 모델 ID는 처음 사용할 때 자동으로 다운로드됩니다.

MLXCEL_INSTALL_DIR="${MLXCEL_INSTALL_DIR:-$HOME/.local/share/mlxcel}" \
  && mkdir -p "$MLXCEL_INSTALL_DIR" \
  && curl -fL -o "$MLXCEL_INSTALL_DIR/mlxcel.zip" https://github.com/lablup/mlxcel/releases/download/v0.8.1/mlxcel-macos-aarch64.zip \
  && unzip -o "$MLXCEL_INSTALL_DIR/mlxcel.zip" -d "$MLXCEL_INSTALL_DIR/mlxcel-macos-aarch64" \
  && export PATH="$MLXCEL_INSTALL_DIR/mlxcel-macos-aarch64:$PATH" \
  && mlxcel --version

설치 및 다운로드 도움말

터미널에서 설치 명령을 실행하세요. 선택한 실행 파일이 PATH에서 검색되어야 합니다. 명령을 찾지 못하면 같은 터미널에서 표시된 PATH 설정을 다시 적용하세요.

모델 ID는 처음 사용할 때 자동으로 다운로드됩니다. 선택적인 다운로드 명령으로 체크포인트를 미리 준비할 수도 있습니다. 캐시에 없는 모델은 인터넷과 충분한 디스크 공간이 필요하며, 접근 제한 모델은 승인과 인증 정보도 필요합니다.

2. 실행

준비를 마친 같은 터미널에서 실행하세요. 서버 모드는 준비 또는 수신 대기 메시지가 나온 뒤에도 실행 상태로 두세요. 메모리가 부족하면 작은 체크포인트를 고르거나 고급 설정에서 컨텍스트와 동시 실행 수를 줄이세요.

전체 복사는 선택한 설치, 체크포인트 다운로드, 표시된 실행 명령을 이 순서로 포함합니다. 같은 셸에서 실행하세요. 다중 노드 명령은 해당 장비에서 각각 실행합니다.

mlxcel serve

이 설치는 전체 CLI를 제공합니다. mlxcel serve를 사용하세요. 독립 서버를 사용하려면 소스 빌드를 선택하세요.

mlxcel serve -m mlx-community/Meta-Llama-3.1-8B-Instruct-4bit --alias llama-3-1-8b-instruct \
  --ctx-size 8192 --n-parallel 4

명령어 옵션 도움말

-m: 모델 또는 체크포인트 저장소를 선택합니다.
--alias: API 클라이언트가 사용할 서빙 모델 이름을 지정합니다.
--ctx-size: 요청에 사용할 최대 컨텍스트 창을 지정합니다.
--n-parallel: 서버 병렬 슬롯 수를 지정합니다.

3. 첫 결과 확인

서버가 준비되면 두 번째 터미널을 사용하세요. 텍스트 채팅 요청은 JSON의 choices[0].message.content에 응답하며, 특화 엔드포인트는 해당 작업의 결과를 반환합니다. 예시 파일 경로가 있으면 자신의 입력으로 바꾸세요. 연결 거부 오류가 나면 서버 주소·포트와 터미널 로그를 확인하세요. 모델 접근·다운로드 오류는 모델 ID, 권한, 인터넷 연결과 디스크 여유 공간을 확인하세요.

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"llama-3-1-8b-instruct","messages":[{"role":"user","content":"Hello"}]}'

성능 측정 근거

선택한 체크포인트와 하드웨어 조합의 벤치마크 기록이 없습니다. 명령과 메모리 추정치는 카탈로그의 모델 정보를 사용합니다.

메모리 적합성은 모델 정보로 계산한 추정치이며, 처리량 측정이나 추론 성공 검증과 별개입니다.

이 하드웨어의 측정값은 아직 없습니다. 관련 프로파일은 패밀리 페이지를 참고하세요. 패밀리

실행 준비 조건

선택한 하드웨어에 맞는 mlxcel 빌드를 설치하고 선택한 체크포인트의 메모리 추정치를 확인하세요.
캐시에 없는 체크포인트를 다운로드할 인터넷 연결과 디스크 공간이 필요합니다. 접근 제한이 있는 체크포인트는 Hugging Face 승인을 먼저 받으세요.

레시피 옵션

• bf16 변형을 mlxcel로 다운로드하려면 먼저 Hugging Face 접근 승인을 받아야 합니다.

패밀리

Llama 1/2/3

밀집

같은 패밀리 레시피

대기 중

가이드

개요

Llama 3.1 8B Instruct는 최대 131K 토큰의 컨텍스트를 지원하는 밀집 텍스트 모델입니다. 이 레시피는 Meta 저장소를 모델 식별자로 사용하며 Metal과 CUDA 모두에서 MLX Community 4비트 변환본을 기본 체크포인트로 로드합니다.

사전 요구 사항

meta-llama/Llama-3.1-8B-Instruct bf16 가중치의 사용 승인을 받지 않았다면 mlx-community/Meta-Llama-3.1-8B-Instruct-4bit로 시작하세요. 131K 컨텍스트 전체에 KV 캐시를 할당하려면 그만큼 메모리가 필요합니다. 컨텍스트를 늘리기 전에 하드웨어 프로파일을 선택하고 --estimate-memory를 실행하세요.

주의 사항

Llama 계열 체크포인트는 프롬프트 캐시와 KV 캐시 제어를 지원하며 명령 생성기는 선택한 하드웨어에 카탈로그 기본값을 적용합니다. 메모리 추정치로 구성을 계획하고 해당 하드웨어의 측정 기록도 확인하세요. 동시에 처리할 요청을 위한 메모리도 남겨 두어야 합니다.