גרדנר נולד בדורקינג שבמחוז סארי, אנגליה. אביו נהרג שבועות ספורים אחרי לידתו, בעת פלישת בעלות הברית לסיציליה במהלך מלחמת העולם השנייה.