Tech

회귀 테스트는 결과가 같음을 증명한다. LLM 시스템에서 우리에게 필요한 것은 결과가 더 나아졌다는 증거다.

reranker가 만들어낸 정확도 환상에서 빠져나오기까지 4주가 걸렸다.

하루 6시간을 에디터에 앉아 있는 사람의 실측 워크플로우.

엑셀로 그려보면 답이 한 줄로 나온다. 다만 그 한 줄이 자주 움직인다.

CI에 eval을 붙이는 가장 게으른 방법.

비용, 모니터링, 그리고 잠.