Acosado por las deudas, se vio obligado a vender la granja y trasladarse a vivir de nuevo a Nueva York, donde acabó aceptando en 1866 un modesto trabajo como inspector de aduanas, una profesión completamente corrupta de la cual fue el único representante honrado.