비전문가 참여자의 주석 품질을 평가하고 관리하기 위한 효과적인 메커니즘은 다음과 같습니다:
Inter-Rater Reliability: 서로 다른 주석자 간의 일치도를 평가하여 낮은 품질의 주석을 식별하고 제거할 수 있습니다. 이를 통해 신뢰성이 낮은 주석을 필터링하고 더 높은 품질의 주석을 유지할 수 있습니다.
Quality Assessment Metrics: 주석의 품질을 평가하기 위한 지표를 도입하여 낮은 품질의 주석을 식별하고 제거할 수 있습니다. 이를 통해 신뢰성이 낮은 주석을 자동으로 걸러내고 높은 품질의 주석을 선택할 수 있습니다.
Uncertainty Estimation: SAM이 생성한 주석의 불확실성을 추정하여 잠재적인 오류를 식별하고 더 높은 품질의 주석을 선택하는 데 도움을 줄 수 있습니다. 이를 통해 주석의 신뢰성을 높일 수 있습니다.