林大臣，河野说要适应国际形势变化需要，强化国内体制，接受邀请。1962年，他又出任建设大臣，兼任东京奥运会担当大臣，期间他积极指导奥运准备工作，还为了解决道路问题和供水问题而亲自奔走。1964年东京奥运成功举办之后，池田也因为健康原因而退引。河野和佐藤荣作是池田心中属意的两名候选人。河野曾经寄望池田能够推荐自己成为首相，他还联合另一位实力派大老藤山爱一郎一起反佐藤，但是佐藤得到财界的大力支持，加上池田和佐藤同属「吉田学校」的高材生，最终池田还是决定推荐佐藤。佐藤组阁时邀请河野不计前嫌合作，但是遭到河野的