Skip to content

Latest

천천히 올바르게. AI Researcher & DevOps Engineer Youngju's tech blog. GPU/CUDA, LLM, MLOps, Kubernetes AI workloads, distributed training, and data engineering.

어학학습48편 표시 중
일반NEW

AI 에이전트의 메모리는 실제로 어떻게 만드는가 — 네 가지 설계와, 벤치마크가 실제로 증명한 것

"에이전트 메모리"는 한 가지 기술이 아니라 최소 네 가지 서로 다른 설계를 뭉뚱그린 말입니다 — 파일 스크래치패드, 요약/컴팩션, 벡터 회수, 지식 그래프. 이 글은 각각이 실제로 무엇을 하는지 제품 문서로 확인하고, 그다음 훨씬 불편한 질문을 던집니다: 어느 쪽이 낫다는 근거가 실제로 측정된 적이 있나? Mem0 논문(arXiv:2504.19413)의 표를 직접 읽어 보면, 헤드라인인 "OpenAI 대비 26% 개선"은 사실이지만 같은 표에서 대화 전체를 그냥 프롬프트에 붙이는 풀컨텍스트 방식이 J 72.90%로 모든 메모리 시스템(최고 68.44%)을 이겼습니다. 왜 그런지 확인하려고 LoCoMo 공개 데이터셋을 직접 내려받아 토큰을 세어 봤더니, 논문이 기술한 50개 대화·평균 9,209 토큰이 아니라 10개 대화·평균 약 20,034 토큰(tiktoken cl100k_base 기준)이었습니다 — 즉 요즘 컨텍스트 윈도우에 통째로 들어갑니다. 여기에 Mem0와 Zep이 서로의 측정을 반박하다 한쪽이 계산 오류를 인정하고도 두 진영의 숫자가 끝내 일치하지 않은 기록까지, "측정된 것"과 "주장된 것"을 갈라서 정리합니다.

일반NEW

AI 에이전트는 프로덕션에서 어떻게 실패하는가 — 14가지 실패 모드, 그리고 재시도가 안전하지 않은 이유

에이전트를 프로덕션에 올리면 세 가지가 아픕니다. 첫째, 실패는 모델이 아니라 시스템 설계에서 납니다 — UC 버클리의 MAST 연구는 실행 트레이스 1642건을 분류해 14가지 실패 모드를 뽑았고, 그중 44.2%가 시스템 설계 이슈였습니다. 둘째, 가장 흔한 실패 모드 두 개(단계 반복 15.7%, 종료 조건 미인지 12.4%)가 곧바로 토큰 청구서입니다. 셋째, 바로 그 두 개가 재시도/멱등성 문제를 만듭니다 — 비결정적 호출자가 진짜 부작용을 굴리는데, MCP는 idempotentHint라는 힌트만 줄 뿐 멱등성 키 같은 메커니즘이 스펙에 아예 없고, IETF의 Idempotency-Key 드래프트는 2020년에 시작해 2026년 4월 만료된 채 RFC가 되지 못했습니다. 이 글은 실패 분류와 각 범주가 청구하는 비용의 종류, OTel GenAI 시맨틱 컨벤션에 비용 지표가 없다는 사실과 토큰을 그냥 더하면 틀리는 이유, 그리고 개입이 실제로 얼마나 효과가 있었는지(정직하게 말하면, 최선의 개입 뒤에도 코드 생성 성공률은 25.0%에서 40.6%였습니다)를 1차 자료로 확인해 정리합니다.