Pada 1963, sejurus selepas peristiwa Konfrontasi Indonesia-Malaysia pada 1963, kerajaan telah mengambil tindakan ke atas beberapa ahli politik dan aktivis pembangkang. SF dilihat sebagai pro-Indonesia dan semua pemimpin "Barisan Sosialis" telah diberkas. Antara mereka yang ditahan dan ditangkap ialah Ahmad Boestamam (presiden PRM), Ishak Haji Muhammad (presiden PBM), Abdul Aziz Ishak (presiden PPK) serta Datuk Kampo Radjo (kemudian menjadi presiden PRM), Tan Kai Hee, Tan Hock Hin, Dr. Rajakumar, Hasnul Hadi, Tajuddin Kahar dan ratusan yang lain. Rapat umum dan demonstrasi besar-besaran telah diadakan pada 13 Februari 1965 di Kuala Lumpur sempena ulang tahun kedua penahanan Ahmad Boestamam dan lain-lain untuk menentang penangkapan beramai-ramai aktivis dan pemimpin SF di bawah Akta Keselamatan Dalam Negeri (ISA) dan tuduhan penglibatan kegiatan "subversif". Akibatnya pada Pilihan raya umum Malaysia 1964, SF hanya dapat memenangi 2 kerusi. Pembatalan pilihan raya kerajaan tempatan 1965 selepas pengisytiharan Darurat pada 1964 akibat Konfrontasi terus memberi kesan dan melemahkan pengaruh SF.