Gardner era filho de um geólogo de petróleo, e cresceu em Tulsa, Oklahoma. Desde pequeno ele demonstrou interesses em quebra cabeças e jogos e o seu melhor amigo de infância, John Bennett Shaw, depois se tornou "um dos maiores colecionadores de artigos de Sherlock Holmes". Ele foi aluno da Universidade de Chicago onde se formou em bacharel de filosofia em 1936. Alguns dos seus primeiros empregos foram o de repórter do ', escritor nos escritórios de relações com a imprensa da Universidade de Chicago e voluntário para a Administração de Auxílio da região em Chicago (um gueto composto por favelas e cortiços). Durante a Segunda Guerra, ele serviu por quatro anos na Marinha dos Estados Unidos como marinheiro em serviços administrativos a bordo do destróier de acompanhamento ' no Atlântico. Seu navio ainda estava no Atlântico quando a guerra terminou após a rendição dos japoneses em agosto de 1945.