Sommeren 1511 krevde mange innen riksrådet hans avgang under begrunnelsen at han hadde forsømt forsvaret, spesielt med anledningen det danske herjingstoktet i Vestergøtland og Småland det første halvåret av 1511. Svante Nilsson verget seg og utsatte spørsmålet til et stendermøte som skulle sammenkalles i Arboga 1512. Når tiden var inne for møtet var han allerede død i slaganfall.