Ferrer era el mayor de cinco hermanos, hijos del ganador de un Óscar José Ferrer y de la cantante Rosemary Clooney.