Peter Hersleb Harboe Castberg ble født i Bergen som sønn av Tycho Didrich Castberg (1755–1801) og hans kone Helene Margaretha Calmeyer (1764–1830). Han hadde flere brødre og søstre.