반응형
1. 핵심 요약
- BERT의 문제점
- STS task에서 문장이 같은 네트워크에 들어가기 때문에 massive computational overhead 발생
- → BERT : Semantic Search나 unsupervised tasks에 적합하지 않음
- Sentence-BERT(SBERT)
- siamese and triplet network 구조를 활용한 pre-trained BERT 네트워크
- 가장 비슷한 similar pairs를 찾는 시간을 시간을 65 hours에서 약 5초로 단축 & accuarcy는 유지
- sentence embedding methods에서 SOTA outperform
2. 논문 링크
https://arxiv.org/abs/1908.10084
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes a
arxiv.org
3. 논문 설명 링크
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
content
coding-moomin.notion.site
반응형