第3次小泉内閣では全閣僚再任という形で留任するが、10月31日の内閣改造で離任。