认为他胜选机会不大，更在2003年遭党团通过对其的不信任动议而被罢去党魁，由夏伟明接任。作为一名后座议员，他创立独立于保守党的了中间偏右智库，并成为一个小说家，出版了受严厉批评的作品《》（"The Devil's Tune"）。2010年5月12日，时任首相戴维·卡梅伦任命施志安为就业及退休保障大臣，2016年3月18日因不满时任财相欧思邦计划减少伤残津贴辞职。