Jabarkan Awal kehidupan dari Robert Schwartzman

Schwartzman lahir di Los Angeles dari pasangan Talia Shire (née Coppola) dan produser film Jack Schwartzman. Kakek dari pihak ayahnya adalah orang Yahudi Polandia, sedangkan ibunya adalah seorang Katolik Italia-Amerika. Kakak laki-lakinya, Jason Schwartzman, juga seorang aktor dan musisi. Saudara lainnya dari pihak ayahnya adalah Stephanie dan sinematografer John Schwartzman, sedangkan saudara lainnya dari pihak ibunya adalah Matthew Shire.

Sebagai anggota keluarga Coppola, banyak kerabatnya juga terlibat dalam industri hiburan — dia merupakan keponakan dari pembuat film Francis Ford Coppola dan konduktor opera Anton Coppola; sepupu dari aktor Nicolas Cage dan pembuat film Sofia Coppola, Roman Coppola dan Christopher Coppola; dan cucu dari pemimpin keluarga, Italia Coppola (née Pennino) dan komposer Carmine Coppola.