- Published on
LLMOps 플랫폼의 설계와 구현을 다룹니다. vLLM/TGI 기반 모델 서빙, 토큰 사용량/레이턴시/품질 모니터링, 프롬프트 버전 관리, A/B 테스트 프레임워크, 가드레일 통합까지 프로덕션 LLM 운영의 전체 라이프사이클을 코드와 함께 구축합니다.
천천히 올바르게. AI Researcher & DevOps Engineer Youngju's tech blog. GPU/CUDA, LLM, MLOps, Kubernetes AI workloads, distributed training, and data engineering.