Bennett ble født inn i en svært musikalsk familie i Kansas City i Missouri. Hans far, George Bennett, spilte fiolin i Kansas City Symphony og trompet i Grand Opera House, mens hans mor, May, jobbet som pianist og lærer. Hun lærte Bennett å spille piano, mens hans far lærte ham å spille fiolin og trompet. Han fikk etterhvert også erfaring med andre musikkinstrumenter. Bennett-familien flyttet til en gård i Freeman i Missouri, da Bennett var fire år gammel. Innen den tid, hadde han demonstrert sine evner for musikk. Av hans tidlige oppvekst, ble han ofte oppfordret av hans far til å spille ethvert gitt instrument.