2006年4月6日，参加中国国民党台北市长初选，并不顺利，于4月26日退选。在2008年立委选举单一选区两票制影响下，他参选台北市第三选区（中山区及松山区）立法委员，最后以99959票（得票率60.26%）当选，压倒性击败同样挑战三连霸的民进党立委郭正亮，其在此选区高达六成的得票率纪录，至今仍未打破。2008年11月，兼任中国国民党副主席，2014年4月底卸任。2011年4月，中国国民党同党的竞争者罗淑蕾在国民党初选民调中以不到百分之一的差距险胜蒋孝严，虽然北市党部声明不是最终的结果，但蒋孝严仍决