Lorencez es sustituido por el mariscal Federico Forey, como respuesta ante la desastrosa pérdida en la batalla de Puebla del cinco de mayo; Lorencez reclama esta decisión, aduciendo su derecho a recuperar su honor y debía ser él quien tenía que derrotar a los mexicanos, pero Napoleón III no le concedió su petición así que deja Veracruz el 17 de diciembre de 1862.