2009年8月30日，自民党在众议院选举大败，失去政权及第一大党地位，但他成功连任众议员，之后并无参加党总裁选举。2010年10月31日，在率领多名的国会议员参访团搭乘台北松山机场与日本东京羽田机场之间的新航线首航班机来到台湾进行访问，和前总统李登辉、总统马英九、民进党主席蔡英文等政要会晤，并一同前往台北忠烈祠参拜献花。2012年9月26日，经过两轮党内投票，当选第25届自由民主党总裁，成为首位回任的自民党总裁。同年12月16日，自民党在众议院选举大胜赢回执政权，确定将再次出任日本内阁总理大臣。