Sau cuộc đảo chánh năm 1963 thì Hội đồng Quân nhân Cách mạng ra lệnh bắt các giám đốc và chủ sự của SEPES và Đoàn Công tác Đặc biệt Miền Trung vì cho họ thuộc phe phái Cần Lao nên Phủ Đặc ủy trở thành cơ quan tình báo duy nhất còn lại. Hoạt động dù vậy hạn chế vì tình hình chính trị bất ổn, liên tiếp những chính phủ được lập lên rồi đổ. Mãi đến năm 1967 thì Phủ Đặc ủy Tình báo Trung ương mới có địa vị vững vàng.