O ator foi casado com a bailarina Berry Berenson, irmã da atriz Marisa Berenson, mas nunca negou ser bissexual. Teve com ela dois filhos, o também ator Osgood Perkins, mais conhecido como Oz Perkins, nascido em 1974, e o músico Elvis Perkins, nascido em 1976. Um dia antes do nono aniversário de sua morte, sua viúva, Berry Berenson, foi uma das vítimas do Voo American Airlines 11, que foi sequestrado por terroristas islâmicos durante os Ataques de 11 de setembro de 2001 e lançado contra a torre norte do World Trade Center.