En 1813 Victor y sus hermanos se instalaron en París con su madre, que se había separado de su marido por su romance con el general Victor Lahorie, padrino y preceptor de Victor Hugo del que recibe su nombre.