持大野伴睦、石井光次郎等「党人派」对抗「官僚派」代表池田勇人，但大野、石井都在总裁公选中落败。池田就任首相后的第二年（1961年），邀请河野入阁再次担任农林大臣，河野说要适应国际形势变化需要，强化国内体制，接受邀请。1962年，他又出任建设大臣，兼任东京奥运会担当大臣，期间他积极指导奥运准备工作，还为了解决道路问题和供水问题而亲自奔走。1964年东京奥运成功举办之后，池田也因为健康原因而退引。河野和佐藤荣作是池田心中属意的两名候选人。河野曾经寄望池田能够推荐自己成为首相，他还联合另一位实力派大老藤山爱一