← 종합 인덱스 | Vast.ai vLLM (OpenAI 호환 LLM 추론 서버) + Jupyter — 분석

Vast.ai vLLM (OpenAI 호환 LLM 추론 서버) + Jupyter — 분석

대상 이미지(삭제됨): vastai/vllm_v0.11.0-cuda-12.8-mvc-cuda-12.0/jupyter:latest digest sha256:c34ec0b21a10bf16970167f604cd696980e35d04d1ab00fc2e40ec5f6047c8aa, 13.5GB(보고서 비압축 표기 41.8GB), 2026-06-11 빌드 근거: 이미지 빌드 히스토리(rtx3-docker-leftover-detail.txt 637~726행). 공식 Vast.ai 배포 이미지 = 임차인 커스텀 코드 없음 / 공개 DockerHub vastai/에서 docker pull로 재취득 가능 → 학습 가치 낮음(삭제는 가역적, 본 문서는 기록 목적).

한 줄 요약

Vast.ai가 공식 배포하는 vLLM 0.11.0 기반 OpenAI 호환 LLM 추론 서버 이미지에 Jupyter / Ray / Vast 포털 도구를 통합한 표준 임대용 컨테이너. 임차인이 임의의 LLM 가중치를 받아 곧바로 OpenAI API 호환 엔드포인트로 서빙할 수 있게 만든 것. 말 워커와 달리 자체(커스텀) 추론 코드는 없음 — 전부 업스트림 vLLM + Vast 표준 래퍼.

1. 무엇을 하는 이미지인가 (기능)

vLLM OpenAI 호환 서버 — 원래 ENTRYPOINT는 python3 -m vllm.entrypoints.openai.api_server. 모델만 지정하면 /v1/chat/completions 등 OpenAI 호환 REST 엔드포인트로 LLM 서빙.
Vast 부팅 래퍼로 덮어씀 — 최종 ENTRYPOINT는 /bin/bash -c "while [ ! -e /.launch ]; do sleep 1; done; bash /.launch". 즉 Vast 인스턴스가 부팅 시 주입하는 /.launch 스크립트를 기다렸다가 실행하는 임대 표준 패턴(다른 임차인 이미지들과 동일).
Jupyter 통합 — ipykernel install로 python3 / vllm 두 커널 등록(nbzip, jupyter-archive, bash_kernel 포함) → 브라우저에서 노트북으로 실험 가능.
Ray 분산 — uv pip install ray[default] → 멀티 GPU / 멀티 노드 분산 추론 대비.
Vast 포털/프록시 — portal-aio + caddy(리버스 프록시), instance-tools, convert-non-vast-image.sh(비-Vast 이미지를 Vast 호환 형태로 변환하는 도구). 외부 포트 노출·포털 UI 제공용.

2. 기술 스택

vLLM 0.11.0 (이미지 태그·VLLM_USAGE_SOURCE=production-docker-image)
CUDA 12.8.1, Python 3.12, Ubuntu 22.04 base
추론 가속 부속: KV connectors(kv_connectors.txt), gdrcopy, deepgemm, bitsandbytes(양자화), EP kernels
패키지 관리 uv(UV_HTTP_TIMEOUT=500, UV_INDEX_STRATEGY=unsafe-best-match)
LABEL maintainer=Vast.ai Inc <contact@vast.ai>, source=https://github.com/vastai/, description="vLLM image suitable for Vast.ai." → 공식 이미지임을 라벨로 확인

3. 빌드 구조 (히스토리 요약, 오래된→최신)

vLLM 빌드 본체(4.48GB 레이어) + benchmarks/examples/collect_env.py 복사
deepgemm / gdrcopy / EP kernels / KV connectors / bitsandbytes 설치
convert-non-vast-image.sh 실행 → Vast 호환 변환, /vllm-workspace를 /opt/workspace-internal로 이동
portal-aio + caddy + instance-tools(/ROOT 복사) 주입
ipykernel(python3 / vllm 커널) + Jupyter 도구 설치
최종적으로 ENTRYPOINT를 Vast /.launch 대기 래퍼로 교체

4. 확실 vs 추정

확실(공개 이미지·라벨·히스토리로 단정): vLLM 0.11.0 OpenAI 호환 서버, CUDA 12.8.1/Py3.12, Ray·Jupyter·Vast 포털 통합, Vast 공식 배포본, 자체 커스텀 추론 코드 없음.
추정: 임차인이 실제 어떤 LLM 가중치를 어떤 파라미터로 서빙했는지. → 모델 데이터는 이미지에 굽혀 있지 않음(런타임에 HF 등에서 다운로드). 이미지만으로는 알 수 없음.

복구/재현 단서

공개 DockerHub vastai/vllm_v0.11.0-cuda-12.8-mvc-cuda-12.0/jupyter:latest 그대로 docker pull 재취득 가능 — 삭제 가역.
실제 서빙 재현은 임차인이 쓰던 모델 ID와 /.launch 내용(이미지 외부, 미확보)이 있어야 동일 재현 가능.