לאחר התפטרותו מראשות הממשלה, קיבל הירנומה את תפקיד שר הפנים בממשלתו של פומימרו קונואה, משרה בה החזיק עד 1941. במסגרת תפקידו תמך הירנומה ברעיון השינטו המדיני, אך בד בבד הסתייג מפעולותיו של שר החוץ יוסוקה מצואוקה ומההסכם התלת-צדדי שחתם עם גרמנית הנאצית ועם איטליה הפשיסטית ב-1940. בעקבות התפטרותו של קונואה באוקטובר 1941, התפטר גם הירנומה.