1874 року Такайоші повернувся до уряду і короткий час працював міністром культури (25 січня — 13 травня 1874) та внутрішніх справ (14 лютого — 27 квітня 1874). Проте у зв'язку з протестом проти походу японських військ на Тайвань, він знову пішов у відставку. Наступного року на Осацьких зборах Такайоші вдалося подолати розбіжності з Окубо та міністрами і вдруге увійти до складу уряду в чині Імператорського радника. Він також отримав призначення до Зборів регіональних чиновників, на яких головував протягом 20 червня — 17 липня 1875 року.