Ernst flyttet tilbake til Frankrike i 1953. Hans første kone Luise Straus døde i Auschwitz.