← ServerHealth

KV / Decode Cache 벤치마크

KV 캐시 히트가 디코드에서 얼마나 버는지 잽니다. 같은 토큰 수를 (①한 요청으로 이어서 생성 — 매 스텝 KV 재사용) 과 (②토큰마다 요청을 새로 보내 문맥 전체를 다시 계산) 두 경로로 만들어 비교합니다. 시작 상태를 맞추기 위해 반복마다 reset_prefix_cache 로 캐시를 비웁니다.

모델

프리셋

저장된 세션

아직 저장된 세션이 없습니다. 위에서 한 번 실행하면 결과가 자동으로 남습니다.