Research Idea
Where should Mamba actually win — very long context?
내 직관으론 시퀀스가 아주 길어질수록(유전체, 오디오, 긴 문서) attention의 O(n²)가 부담돼서 Mamba가 유리할 것 같은데, 짧은 시퀀스에선 굳이? 실제로 어떤 도메인에서 확실히 이긴다는 합의가 있나요?
내 직관으론 시퀀스가 아주 길어질수록(유전체, 오디오, 긴 문서) attention의 O(n²)가 부담돼서 Mamba가 유리할 것 같은데, 짧은 시퀀스에선 굳이? 실제로 어떤 도메인에서 확실히 이긴다는 합의가 있나요?
No replies yet. Start the conversation.