Sự tồn tại của Biệt khu Hải Yến là một cái gai ngăn trở việc xây dựng căn cứ và phát triển lực lượng của những người Cộng sản tại Cà Mau. Nhân sự ủng hộ của những người dân bất mãn với sự lộng hành và tàn ác của các binh sĩ-giáo dân Biệt khu Hải Yến, các chỉ huy quân sự Cộng sản đã nhiều lần tiến hành các vụ tập kích vào các đồn thuộc Biệt khu, thậm chí kể cả chỉ huy sở biệt khu. Tuy nhiên, nhờ sự hậu thuẫn trực tiếp của Tổng thống Diệm, vốn ưu tiên trang bị vũ khí cho biệt khu và đã ra lệnh cho các đơn vị quân trong vùng phải ưu tiên chi viện, nên Biệt khu Hải Yến vẫn duy trì được sự tồn tại của mình. Sau Đảo chính Việt Nam Cộng hòa 1963, mất đi người bảo trợ nhiệt thành, cộng với sự thiếu quan tâm của chính quyền mới, Biệt khu Hải Yến bị tấn công mạnh, dần dần thu hẹp vùng kiểm soát.