Peder Colbjørnsen var sønn av presten Colbjørn Torstensen Arneberg og Catharina Kjeldsdatter Stub. Han ble i oktober 1720 gift i Arendal med Hilleborg Dund (eller Duns). Ekteskapet ble formelt oppløst 1733, og han hadde levd adskilt fra sin hustru fra 1729. Peder Colbjørnsen var bror av krigsveteranen Hans Colbjørnsen, halvbror av nasjonalheltinnen Anna Colbjørnsdatter, dattersønn av krigerpresten Kjeld Stub og nevø av assessor og president i Christiania Niels Kjeldsen Stub.