Ngặt nỗi ông bố (vốn là thông phán) lại quá nghiêm khắc, ông cấm không cho cậu con trai đi theo phường xướng ca vô loài mà chỉ muốn con mình làm... bác sĩ, nhưng Văn Phụng theo học ngành y chỉ được một năm rồi bỏ học đi theo tiếng gọi của âm nhạc.