Hij was van 1973 tot zijn dood in 1992 getrouwd met Amerikaans fotografe en model Berry Berenson, de zus van actrice Marisa Berenson en kleindochter van modeontwerpster Elsa Schiaparelli. Ze kregen samen twee kinderen, acteur Oz Perkins (geboren in 1974) en muzikant Elvis Perkins (geboren in 1976). Zijn vrouw Berry was een van de slachtoffers van de terroristische aanslagen van 11 september 2001. Zij was een van de passagiers van American Airlines vlucht 11, die die dag de noordelijke toren van het World Trade Center binnenvloog.