Sau Hiệp định Genève, năm 1955, ông ra làm đô trưởng Sài Gòn trong chính quyền của Thủ tướng Ngô Đình Diệm một thời gian ngắn. Sau đó, ông từ chức để phản đối chính sách độc tài gia đình trị của Ngô Đình Diệm thời Đệ Nhất Cộng hòa. Năm 1960, ông cùng 17 nhân sĩ thành lập nhóm Tự do Tiến bộ, tổ chức họp báo tại khách sạn Caravelle (thường được gọi là "nhóm Caravelle"), chính thức xác nhận địa vị đối lập với chính quyền. Khi cuộc đảo chính của đại tá Nguyễn Chánh Thi đứng đầu nổ ra, nhóm đã tuyên bố ủng hộ. Vì thế ông cùng 17 vị nhân sĩ nhóm Caravelle bị chính quyền bắt giam. Trong tù, ông có viết một tập thơ lấy tên là "Lao trung lãnh vận" (tức "Những vần thơ lạnh lẽo ở trong tù").