2008年立委选举单一选区两票制影响下，他参选台北市第三选区（中山区及松山区）立法委员，最后以99959票（得票率60.26%）当选，压倒性击败同样挑战三连霸的民进党立委郭正亮，其在此选区高达六成的得票率纪录，至今仍未打破。2008年11月，兼任中国国民党副主席，2014年4月底卸任。2011年4月，中国国民党同党的竞争者罗淑蕾在国民党初选民调中以不到百分之一的差距险胜蒋孝严，虽然北市党部声明不是最终的结果，但蒋孝严仍决定退出台北市第三选区立法委员的选举并投入辅选，并展现君子风度主动担任罗淑蕾立法委员