Evans vokste opp i New Yorks Upper West Side i 1930-årene. Hans far var tannlege i Harlem, mens hans mor var hjemmeværende. Moren kom fra en velstående familie, og familien Evans led ikke noen nød under den store depresjonen. Han begynte å jobbe for sin brors klesbutikk, Evan-Piccone.