Para 1845 la situación del negocio había decaído a tal punto que la familia se mudó al puerto de El Havre, en la desembocadura del Sena, donde vivía la media hermana de su padre, Marie-Jeanne Lecadre.