분산 추론¶

이 섹션은 mlxcel의 분산 추론 기능을 다룹니다. 분산 추론을 통해 단일 장치에 담기에 너무 큰 모델을 여러 GPU 또는 노드에 분산하거나 처리량을 높일 수 있습니다.

목차¶

문서	설명
개요	개념, 전략 비교, 인프라, 클러스터 설정
텐서 병렬화	단일 모델 레이어 내에서 가중치 행렬을 GPU에 분산
파이프라인 병렬화	파이프라인 내 서로 다른 GPU에 모델 레이어를 할당
분리형 추론	프롬프트 처리와 토큰 생성을 서로 다른 노드로 분리

전략 선택¶

flowchart TD
    A{"모델이 GPU 하나에\n들어가나요?"} -->|Yes| B["단일 노드 서빙\n(분산 모드 불필요)"]
    A -->|No| C{"어떻게 분할할까요?"}
    C --> D{"같은 호스트의\n여러 GPU?"}
    C --> E{"여러 호스트에\n걸쳐 분할?"}
    C --> F{"프리필과 디코드를\n분리?"}
    D --> G["**텐서 병렬화**\n저지연\nNVLink/PCIe 필요"]
    E --> H["**파이프라인 병렬화**\n요청당 높은 지연\n대규모 모델에 적합"]
    F --> I["**분리형 추론**\n혼합 워크로드에 최적\n긴 프롬프트 + 가변 디코드"]

자세한 비교표는 개요를 참조하십시오.