0年的选举中，麦迪逊却微不足道地丧失了席位，其失败原因主要是因为他在布尔战争期间支持布尔人。后来麦迪逊重整旗鼓，于1906年在伯恩利当选，但是很快的在1910年1月失去了这个席位。尽管他接二连三在1910年12月的达林顿，1918年的和1922年的南多塞特竞选，但是都未曾回到国会。