Perkins dilaporkan memiliki pengalaman hubungan heteroseksual pertamanya pada usia 39 dengan aktris Victoria Principal di lokasi syuting "The Life and Times of Judge Roy Bean" pada tahun 1971. Ia bertemu dengan fotografer Berinthia "Berry" Berenson, adik perempuan aktris dan model Marisa Berenson, di sebuah pesta di Kota New York pada tahun 1972. Mereka menikah ketika dia berusia 41 dan dia berusia 25 tahun, pada 9 Agustus 1973 dan memiliki dua putra: aktor Oz Perkins (lahir 2 Februari 1974), dan musisi Elvis Perkins (lahir 9 Februari 1976). Perkins dan Berenson tetap menikah sampai kematiannya. Pada tahun 2001, pada hari sebelum ulang tahun kesembilan kematiannya, Berenson menjadi salah satu korban dalam serangan 11 September di dalam pesawat American Airlines Penerbangan 11. Dia kembali ke rumahnya di California setelah liburan di Cape Cod.