Enligt SCB är det till stor del de passiva medlemmarna som har lämnat partierna .