Saya mau tau Menjadi tahanan dari Imam Syafei

Pasca peristiwa Supersemar,Soeharto mengeluarkan surat perintah penangkapan terhadap 15 menteri, termasuk Syafei, yang dituding terlibat dalam gerakan komunis pada tanggal 18 Maret 1966. Ia ditangkap pada tanggal 20 Maret dan ditahan di kawasan perumahan atlet di Senayan. Pada tanggal 18 April 1966, dia bersama 14 menteri lainnya dipindahkan ke Rumah Tahanan Militer (RTM) Jl Budi Utomo. Selama ditahan di RTM, ia  dikenal sebagai muazin.

Kemudian, Syafei bersama empat orang bekas menteri lainnya dipindahkan ke Instalasi Rehabilitasi (Inrehab) Nirbaya di Lubang Buaya pada tanggal 29 Juni 1966. Selama di Inrehab Nirbaya, ia berada di satu sel bersama dengan Oei Tjoe Tat dan dihormati oleh para penghuni penjara. Selain itu juga, penjaga tahanan selalu siap menjalankan perintah dia. Hal tersebut disebabkan statusnya sebagai jagoan Senen. Ia juga akrab berteman dengan Omar Dhani. Barulah pada tahun 1975, dia dibebaskan dari tahanan.