Peter Blytt ble 26. juni 1851 gift med sitt søskenbarn, Johanne Alida Blytt (født 21. januar 1826). Hun var datter av kjøpmann og megler Jørgen Blytt og hustru Cornelia Schultz. De fikk datteren Valborg, født 13. august 1855.