Peter Andreas Holter var gift med Harriet Holter fra 1957, i hennes tredje ekteskap. Hun og Øystein Gullvåg Holter, hennes sønn fra hennes forrige ekteskap, tok Peter Andreas Holters slektsnavn. Etter at de ble skilt, giftet han seg på nytt.