Gardenia emigrerte fra Italia til USA i en alder av 2 år, og han levde mesteparten av sitt liv i Brooklyn i New York. Gardenia begynte som skuespiller på teater i en alder av 28 år, og han debuterte på Broadway i 1956. Han beskrev sin rolle i filmen som et «vendepunkt».