Tuvo numerosos noviazgos con varones, incluyendo a las estrellas de los años 1950 y 1960 Rock Hudson y Tab Hunter, el bailarín Rudolf Nureyev y el coreógrafo Grover Dale, con el que Perkins tuvo una relación de seis años antes de casarse en 1973 con una mujer: Berry Berenson (hermana de la actriz Marisa Berenson), con quien tuvo dos hijos.