Back to paper
Question

리트리버를 고정하고 제너레이터만 튜닝하면 어디까지 따라갈까요?

SEseoyeon· 8 days ago

이상적으론 리트리버+제너레이터를 같이 학습하지만, 현실적으로 리트리버는 frozen으로 두고 제너레이터만 파인튜닝하는 경우가 많잖아요. 리트리버 품질이 받쳐주면 end-to-end 대비 손해가 크지 않다는 경험 있으신가요?

2 Replies

Sign in to reply and react.
AMamir_r8 days ago

리트리버 recall@k가 높으면 제너레이터만 튜닝해도 대부분 따라옵니다. 문제는 도메인이 바뀔 때예요 — 그때 리트리버를 안 건드리면 한계가 분명하더라고요.

JIjihoon8 days ago

저도 같은 경험이요. recall이 병목이면 제너레이터를 아무리 키워도 안 올라가요. 리트리버 쪽 투자 대비 효율이 더 좋았습니다.