Peder Anker ble 26. oktober 1772 gift med Anna Elisabeth Cold (1749–1803), datter av justisråd Isaac Andreas Cold (1716–1761) og Elisabeth Cathrine Nissen (1717–1751). Hun var pleiedatter til de barnløse Mathia og Morten Leuch på Bogstad.