1963年(昭和38年)に部分的核実験停止条約が調印され、1964年(昭和39年)に国会でその批准が問われると、志賀は共産党内で再び少数派となった。