AI 논문NEW
어텐션 변형 — MHA에서 MLA까지, KV 캐시는 어떻게 줄어드는가
MHA, MQA, GQA, MLA를 실제 config 값으로 비교합니다. Qwen3, Mixtral, GLM-4.5의 그룹 쿼리 어텐션과 DeepSeek-V3, Kimi K2의 잠재 어텐션이 토큰당 KV 캐시를 몇 배 줄이는지 공식과 숫자로 계산하고, 그 대가로 무엇을 내주는지 정리합니다.
ENJA⇄ Split
Latest
천천히 올바르게. AI Researcher & DevOps Engineer Youngju's blog. GPU/CUDA, LLM, MLOps, Kubernetes AI workloads, and data engineering — plus mindset essays on confidence, routines, health, and sport psychology.
놀면서 배우기
전체 보기 →자주 찾는 도구
전체 보기 →어학학습48편 표시 중
AI 논문NEW
config.json 완전 해부 — 설정 파일 한 장으로 모델 구조 읽기
hidden_size, num_hidden_layers, num_attention_heads와 num_key_value_heads, head_dim, intermediate_size, rope_theta, vocab_size, tie_word_embeddings까지 config.json의 모든 필드가 메모리와 속도에 어떻게 나타나는지 설명하고, Qwen3-8B와 Mixtral-8x7B의 파라미터 수를 손으로 세어 공개된 텐서 수와 정확히 일치시키는 과정을 보여줍니다.
ENJA⇄ Split
AI 논문NEW
MoE 라우팅 — 전문가는 어떻게 뽑히는가
ENJA⇄ Split
AI 논문NEW
정규화와 활성화 — 학습을 무너뜨리지 않는 법
ENJA⇄ Split
AI 논문NEW
위치 인코딩 — RoPE와 컨텍스트 확장의 대가
ENJA⇄ Split
AI 논문NEW
기술 리포트 비판적으로 읽기 — 무엇이 적히고 무엇이 빠지는가
ENJA⇄ Split
AI 논문NEW
토크나이저 내부 — 한국어가 토큰을 더 먹는 이유와 그 비용
ENJA⇄ Split
AI 논문NEW
학습 레시피 — 사전학습에서 후학습까지, 리포트는 무엇을 적는가
ENJA⇄ Split
AI 논문NEW
리더보드와 벤치마크를 읽는 법 — SOTA는 왜 유통기한이 짧은가
ENJA⇄ Split
AI 논문NEW
이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 샘플 이미지 대신 설계를 읽기
ENJA⇄ Split
AI 논문NEW
텍스트 LLM 기술 리포트, 무엇을 읽을 것인가 — 순위 대신 설계 결정 읽기
ENJA⇄ Split
AI 논문NEW
OCR·문서 이해 기술 리포트, 무엇을 읽을 것인가 — 파싱은 왜 아직 안 끝났나
ENJA⇄ Split
AI 논문NEW
음성 인식·합성 기술 리포트, 무엇을 읽을 것인가 — WER 한 숫자로는 안 보이는 것
ENJA⇄ Split
AI 논문NEW
비디오 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 데모가 아니라 제약을 읽기
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (6) — 컨텍스트 윈도우, max_model_len, max_tokens 완전 정리
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (1) — 요청 하나가 토큰이 되어 나오기까지
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (2) — PagedAttention은 KV 캐시를 왜 페이지로 쪼갰는가
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (5) — 접두사 캐싱, 시스템 프롬프트 설계가 곧 성능이 되는 이유
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (4) — 스케줄러와 선점, 처리량이 갑자기 무너지는 지점
ENJA⇄ Split
ai-platformNEW
vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서
ENJA⇄ Split
aiNEW
코드 모델 고르기: 자동완성과 대화형, FIM, 라이선스
ENJA⇄ Split
aiNEW
임베딩과 리랭커, RAG에서 실제로 중요한 것
ENJA⇄ Split
aiNEW
한국어를 지원하는 오픈 모델과 토크나이저 비용
ENJA⇄ Split
aiNEW
라이선스와 배포: 유형 읽는 법과 양자화 배포판 출처 확인
ENJA⇄ Split
aiNEW
허깅페이스 모델 카드 읽는 법: 무엇을 믿고 무엇을 의심할까
ENJA⇄ Split
aiNEW
음성 모델 고르기: STT와 TTS의 실전 기준
ENJA⇄ Split
aiNEW
텍스트 생성 오픈 모델, 크기대별로 고르는 법
ENJA⇄ Split
aiNEW
비전과 멀티모달: 이미지 이해, OCR, VLM 고르기
ENJA⇄ Split
커리어NEW
백엔드·데브옵스·데이터 엔지니어에서 FDE로 — 6개월 전환 로드맵
ENJA⇄ Split
커리어NEW
"느려요"를 엔지니어링 문제로 옮기는 법 — FDE 고객 커뮤니케이션
ENJA⇄ Split
커리어NEW
FDE 온보딩 90일 — 파악, 단독 티켓, 주도 미션의 세 달
ENJA⇄ Split
커리어NEW
FDE 장애 진단 플레이북 — 접속 권한부터 보고서까지 6단계
ENJA⇄ Split
커리어NEW
FDE 인터뷰 준비 — 진단 시나리오, 고객 시뮬레이션, 케이스 스터디
ENJA⇄ Split
커리어NEW
PoC는 왜 프로덕션에 못 가는가 — 성공 기준, 보안 검토, 인수인계
ENJA⇄ Split
커리어NEW
FDE 기술 지도 — 8개 도메인의 최소선, 실무선, 확인 질문
ENJA⇄ Split
커리어NEW
FDE(Forward Deployed Engineer)란 무엇인가 — 고객사 현장에 배치되는 엔지니어
ENJA⇄ Split
큐레이션NEW
개발자 이직 후기와 연봉 협상 글 여덟 편 — 성공담이 아니라 절차를 적은 글만 골랐습니다
ENJA⇄ Split
큐레이션NEW
엔지니어를 위한 한국어 돈 글 아홉 편 — 상품을 파는 글을 걷어내니 계산 구조만 남았습니다
ENJA⇄ Split
큐레이션NEW
노트 앱을 다섯 번 갈아탄 사람을 위한 한국어 글 아홉 편 — 도구가 아니라 구조의 문제였습니다
ENJA⇄ Split
큐레이션NEW
기술 글쓰기와 사이드 프로젝트에 관한 한국어 글 열 편 — 시작하는 법이 아니라 계속하는 법
ENJA⇄ Split
큐레이션NEW
국내 개발 블로그 명글 큐레이션 3 — AI와 ML 실무, 직접 열어 확인한 14편
ENJA⇄ Split
큐레이션NEW
국내 개발 블로그 명글 큐레이션 1 — 백엔드와 인프라, 직접 열어 확인한 14편
ENJA⇄ Split
큐레이션NEW
국내 개발 블로그 명글 큐레이션 5 — 커리어와 성장, 직접 열어 확인한 14편
큐레이션NEW
국내 개발 블로그 명글 큐레이션 4 — 프론트엔드, 직접 열어 확인한 14편
ENJA⇄ Split
큐레이션NEW
국내 개발 블로그 명글 큐레이션 2 — 장애 회고와 트러블슈팅, 직접 열어 확인한 12편
ENJA⇄ Split
GPU·CUDANEW
DCGM Exporter — GPU 이용률은 당신이 생각하는 그것이 아니다
ENJA⇄ Split
GPU·CUDANEW
디바이스 플러그인과 GPU 스케줄링 — nvidia.com/gpu는 어디서 오는가
ENJA⇄ Split