Peder ble den 25. desember 1784 gift i Drammen med (1766-1849), som kom fra en religiøs familie i Drammen og var botaniker. Hun var datter av kjøpmann Peter Møller Klein (død 1780) og ektefelle Anna Catharina Lohrmann (død 1801), som eide Austad gård.