William Franklin "Will" Lee IV ble født 8. september 1952 i San Antonio, Texas. Hans far, William Franklin Lee III aka Bill Lee, var jazzpianist, trompetist, bass fiolinist, komponist, arrangør, forfatter og musikklærer ved blant annet University of Miami School of Music. Han mor, Lois Ruth Lee (født Snyder), sang sammen med storband. Han har tre søsken, Robert "Rob" Terry Lee (f.1953), Patricia "Pat" Lynn Lee (f. 1955) og Peggy Ann Lee (f. 1958).