Su madre Marian era una judía de ascendencia sueca mientras que su padre Frank era un baptista de Knoxville (Tennesse), que murió cuando Joel tenía cuatro años.