QKFormer 모델은 제안된 Spike-form Q-K attention 메커니즘을 통해 에너지 효율성을 향상시킵니다. Spike-form 구성 요소를 사용하고 이진 벡터를 통해 토큰 또는 채널 차원의 중요성을 모델링하므로 신경적인 연산이 줄어듭니다. 또한, Q-K attention은 #토큰 또는 #채널에 대해 선형 복잡성을 가지므로 메모리 소비를 최적화할 수 있습니다. 이러한 특성은 실제 하드웨어 구현에서 에너지 효율적인 솔루션을 제공할 수 있습니다.