Peder von Cappelen var født i Skien som sønn til skipsreder, sagbrukseier m.m. Diderich von Cappelen (1734–1794) i 1. ekteskap med . Peder var bror til eidsvollsmannen Didrich von Cappelen (død 1828), Skien, og til grosserer Ulrich Fredrich von Cappelen (død 1820), Porsgrunn. Det var et nært vennskapsforhold mellom Peder og den eldre broren Didrich, ifølge en omfattende brevveksling, startet allerede i 1779, og som er bevart i familien.