Năm 15 tuổi, Hoàng Trọng cùng các anh em trong gia đình Hoàng Trung An, Hoàng Trung Vinh và một số bạn bè như Đan Thọ, Đặng Thế Phong, Bùi Công Kỳ... lập một ban nhạc. Ban đầu ban nhạc không có tên và gần như chỉ để giải trí. Năm 1945 Hoàng Trọng mở phòng trà Thiên Thai ở Thái Bình, và bạn nhạc từ ấy mang tên Thiên Thai. Thiên Thai trình diễn ở đó mỗi tối và hoạt động tới năm 1946, khi chiến tranh Việt - Pháp bùng nổ.