Miguel Ferrer ble født som den eldste i en barneflokk på fem. Hans far var den puertoricanske skuespilleren José Ferrer og hans mor skuespillerinnen og sangerinnen Rosemary Clooney. I tenårene peilet han seg inn mot en musikkarriere og spilte trommer og sang i bandet The Jenerators. Han spilte også trommer på Keith Moons soloalbum i The Beach Boys-coverlåten «Don't Worry Baby». Han studerte senere skuespill ved The Beverly Hills Playhouse.