保住政权。但就在次年，由于政府的年金问题，自民党在参议院选举中只拿到了49席，比最大反对党民主党还少一席，随即安倍向党魁小泉递交辞呈，最后获小泉挽留，但降为代理干事长。2005年10月，在小泉二度连任首相后，安倍再次获得重用，任命为内阁的大管家—内阁官房长官，成为首相之外的政坛第二号人物，也是自民党内最耀眼的政治明星之一，被视为热门的新首相人选。
首度拜相.2006年9月20日，安倍晋三在自由民主党总裁换届之际，以464票的高票当选第21届自民党总裁，击败了以136票居次的外务