TASD 외에 다른 희소 텐서 근사화 기법은 어떤 것들이 있을까
TASD 외에 다른 희소 텐서 근사화 기법에는 다음과 같은 것들이 있습니다:
가중치 근사화: 모델 가중치의 희소성을 유지하면서도 모델의 실행을 최적화하는 다양한 기법이 있습니다. 예를 들어, 가중치 pruning, 가중치 클러스터링, 가중치 양자화 등이 있습니다.
활성화 근사화: 활성화 함수의 특성을 고려하여 활성화 텐서를 효율적으로 근사화하는 기법이 있습니다. 예를 들어, 활성화 pruning, 활성화 양자화, 활성화 함수 근사화 등이 있습니다.
텐서 분해: 텐서를 더 작은 구조화된 텐서로 분해하여 모델 실행을 최적화하는 기법이 있습니다. 예를 들어, CP 분해, Tucker 분해, HOSVD 등이 있습니다.