8月30日举行的第45届日本众议院议员总选举，他所属的自民党惨败，第二次失去政权，五十四年来首次失去第一大党地位，拱手交出政权，但安倍成功连任众议员。时任首相麻生太郎辞去党魁职务，之后举行的党魁选举，安倍并无参加。2010年10月31日，安倍晋三访问台湾，并来到台北圆山忠烈祠献花致敬，参观文、武烈士祠，执主祭之位以向「国民革命烈士之灵位」献花，并行三鞠躬礼。
二度拜相.2012年9月26日，安倍晋三再度当选自民党总裁，12月16日，他领导自民党在第46届日本众议院议员总选举中取