Letham vokste opp i Brooklyn, New York. Hans far var avant-garde billedkunstneren Richard Brown Lethem. Moren, en politisk aktivist, døde av kreft da han var 14 år gammel. Lethem beskriver selv foreldrene som «artister, radikalere og bohemer».