小选举区的候选人人才不满的中曾根康弘，对小渊连任县联会长提出异议，而福田康夫亦有异议。结果小渊不再连任，在群马县被认为「小渊的政治生命就此结束」。1996年1月，村山富市辞职。小渊派的桥本龙太郎就任内阁总理大臣。身为小渊派会长的小渊表示愿意参与政权，在野中广务劝说下，支援桥本政府。为与河野洋平对抗的加藤纮一就任党干事长进行工作。同年10月第二次桥本内阁成立，一道传出要小渊就任衆议院议长。小渊曾表乐意接受，但因就任议长与未来就任首相无缘招至地方支持者的反对。手下侧近的额贺福志郎、青木干雄、绵贯民辅以及秘书反对