Ferrer ble født i Elberon i New Jersey. Han hadde kubansk far som var kirurg, og en mor som var et fremtredende medlem av sosieteten i Elberon. Han var bror av lege og forsker M. Irené Ferrer, som var spesialist i kardiologi, og kirurgen Jose M. Ferrer. Den fjerde i søskenflokken var Teresa (Terry) Ferrer, som var redaktør for troslivseksjonen i The New York Herald Tribune samt redaktør for utdanningstoff i Newsweek.