Từ năm 1938 đến năm 1943, ông nhiều lần bị Pháp bắt giam ở nhà lao Huế, Lao Bảo, Buôn Ma Thuột. Đến khi Nhật đảo chính Pháp (ngày 9 tháng 3 năm 1945) mới ra tù. Sau khi ra tù và trở lại hoạt động, ông được bầu làm Bí thư Khu ủy khu IV và được cử đi dự Quốc dân Đại hội ở Tân Trào (8/1945). Trong Đại hội Đảng ở Tân Trào, ông được đặt bí danh là "Nguyễn Chí Thanh", được bầu vào Ban chấp hành Trung ương Đảng và được chỉ định làm Bí thư Xứ ủy Trung Kỳ có nhiệm vụ theo dõi và tổ chức giành chính quyền tại Trung Kỳ trong Cách mạng tháng 8.