Barndomsårene var fylt av musikk, for det meste gospel i den lokale kirken, samt R&B og blues til dans. Miller holdt hele tiden på med litt jazz og på high school startet han en trio som spilte på . Han har senere forklart at .