Luego de la batalla de Antietam, fue destituido y se le ordenó entregar el mando al general Ambrose Burnside y regresar a Nueva Jersey, su hogar en ese momento, a esperar nuevas órdenes, que nunca llegaron.