모델 패밀리
Llama 1/2/3
밀집
참고 사항
이 목록은 해당 패밀리에 속한 체크포인트입니다. 실행 전에 각 레시피에서 추론 검증 여부와 하드웨어 측정값, 실행 조건을 확인하세요.
기능 매트릭스
| 런타임 | generateserve |
|---|---|
| 백엔드 | CUDA:지원Metal:지원ROCm:일부 지원 |
| 텐서 병렬 | 예 |
| 파이프라인 병렬 | 예 |
| 드래프터 | 없음 |
| KV 모드 | fp16int8turbo4 |
| 입력 모달리티 | text |
| 출력 | tokens |
| 모델 타입 | llamamistralxverse |
이 패밀리의 레시피
하드웨어를 선택하면 적합성을 추정합니다.