Im Vorfeld der Unterhauswahl 2012 kehrte Kiuchi zur LDP zurück, um Shinzō Abe bei dessen Kandidatur als Premierminister zu unterstützen, den er bis zu dessen Rücktritt im September 2020 auch weiterhin unterstützte. Nach Bildung des Kabinetts Abe II im Dezember 2012 wurde Kiuchi zum parlamentarischen Vizeminister für Auswärtiges ernannt. Bei der Neubildung des Kabinetts im September 2014 wurde er zum Staatsminister für Auswärtiges erhoben. In dieser Position amtierte er über die Bildung des Kabinetts Abe III hinaus bis zum Oktober 2015. Von 2015 bis 2018 bekleidete Kiuchi Führungspositionen in verschiedenen Parlamentsausschüssen („Sonderausschuss für Entführungen durch Nordkorea und andere Angelegenheiten“) und innerparteilichen Gremien der LDP („Internationales Büro“; „Abteilung für Wirtschaft, Handel und Industrie“; Abteilung für Information und Statistik). Unter dem Kabinett Abe IV diente Kiuchi von Oktober 2018 bis September 2019 als Staatsminister für Umwelt. In dieser Kapazität leitete er unter anderem die Gespräche auf Ministerebene zum Thema Umwelt, die als Teil des G20-Gipfels 2019 in Karuizawa, Nagano stattfanden. Seit Oktober 2019 dient Kiuchi als stellvertretender Vorsitzender des LDP-Komitees für Parlamentsangelegenheiten.