Like etter fødselen fikk Ferrigno flere øreinfeksjoner som skadet hørselen hans. Han mistet mellom 75 og 80 prosent av hørselen, og har brukt høreapparat siden han var fem år gammel. Ferrigno har uttalt at hørselstapet var medvirkende til at han allerede som liten gutt utviklet en sterk målbevissthet.