Ferrer var gift flere ganger. Med Uta Hagen fra 1938 til 1948, med Phyllis Hill fra 1948 til 1953, med sangeren og skuespilleren Rosemary Clooney fra 1953 til 1961, og igjen fra 1964 til 1967. Ved hans død var han gift med Stella Magee. Med Clooney fikk han fem barn, deriblant Miguel Ferrer som også er skuespiller. Skuespilleren George Clooney er Rosemarys nevø.