多数人马重返自由党，但是河野和三木武吉等人坚持留在党外，于是组成「日本自由党」，与改进党一起继续反吉田。1954年，改进党和脱离自由党的鸠山组成了日本民主党。同年11月，吉田内阁终于倒台，成立了鸠山内阁，河野掌握着党政大权，成为鸠山连续三届内阁中的农林大臣。鸠山内阁的一个重要的外交政策就是实现日苏关系正常化，以使日本可以早日重返国际社会，加入联合国。日苏谈判的其中一个重要问题就是渔业争端，苏联威胁要限制北洋渔业，身为农林大臣的河野赶赴莫斯科，坚持强硬的立场，使苏联不得退让，最终使捕鱼量问题得到解决。19