查尔菲在芝加哥长大，是吉他手伊莱·查尔菲（1910—1996）和服装店主维维安·查尔菲（婚前姓Friedlen，1913—2005）的儿子。他的外祖父Meyer L. Friedlen早年从芝加哥移居莫斯科，祖父母本杰明和埃丝特·查尔菲从布列斯特迁居辛辛那提。1965年他被哈佛大学录取，本来准备念数学专业，但后来转攻生物化学。最后一年之前的他在克劳斯·韦伯的实验室工作了一个暑假，但是“那是如此令人沮丧的彻底失败，我决定我不该从事生物学工作。”在最后一年他读完了本专业，并选择了一些法律、喜剧和俄罗斯文学