同年の衆院選では議会主義擁護を掲げ、社会党と対決姿勢を取った。しかし、10月12日、日比谷公会堂で浅沼稲次郎暗殺事件が起こると「しまった」と言ったという。社会党に同情が集まることを恐れたのである。結果、衆院選では23議席減の17議席で完敗。厳しい船出となった。しかしその後、党勢は次第に回復増大、1966年（昭和41年）の第31回衆議院総選挙では30議席を確保、野党勢力の一角を形成することに成功する。