Được nhạc sĩ Võ Đức Thu hướng dẫn và nâng đỡ, Khánh Băng khởi đầu sự nghiệp ca nhạc với cây đàn mandoline và thi đậu vào làm nhạc công ở Đài Phát thanh Sài Gòn (1954), sau đó ông chơi đàn ở đoàn Sầm Giang của nghệ sĩ Trần Văn Trạch và ở Đài Pháp - Á. Khánh Băng được coi là người Việt Nam đầu tiên sử dụng đàn guitar điện trên sân khấu, trong thập niên 60 của thế kỷ trước.