Schwartzman pertenece a una familia que está muy ligada al cine: es hijo del productor Jack Schwartzman y de la actriz Talia Shire, hermano de Robert Schwartzman, sobrino de Francis Ford Coppola y primo de Sofia Coppola, Roman Coppola, Christopher Coppola y Nicolas Cage.