Han tok juridisk embetseksamen i 1840 og fikk ansettelse ved tollkammeret i Helsingør, hvor Øresundstollen ble innkrevet. Direktør ved tollkammeret var farbroren Nicolai Holten og senere Christian Albrecht Bluhme. Peter Holten tok avskjed som sekretær og stempelforvalter ved tollkammeret i 1858.