I 1859 ble han med i det nyorganiserte keiserlige tollvesen og ble dets generalinspektør og sjef i 1863. Under Harts ledelse ekspanderte dette vesenet sterkt, og sjøtollinntektene ble det kinesiske statsverks sikreste innkomstkilde. Han virket også for å spre kunnskap om den vestlige verden i Kina.