Ferrigno attended St. Athanasius Grammar School and Brooklyn Technical High School, where he learned metal working.
Lou verjame da je kmalu po rojstvu utrpel več ušesnih infekcij in zaradi tega izgubil okoli 75 do 80% sluha, kljub njegovemu stanju pa ni bil diagnosticiran vse do svojega tretjega leta starosti.