Joels far, Howard (født Helmut) Joel (1923–2011), var en klassisk pianist og forretningsmann som ble født i Nürnberg i Tyskland, i en jødisk familie. For å unnslippe det nazistiske regimet i Tyskland emigrerte familien til Sveits. Familien dro videre til USA via Cuba; det var ikke mulig for dem å immigrere direkte til USA fordi USA hadde vedtatt en øvre grense for hvor mange tyske, jødiske immigranter som fikk komme inn i landet, og det taket var nådd.