Kaufman ble født i Białystok i Polen. Han hadde to eldre brødre, Dziga Vertov (Denis Kaufman) og Mikhail Kaufman som begge ble filmregissører og forgrunnsfigurer i den unge sovjetiske filmkunsten. Han ble født inn i en familie med jødiske intellektuelle på den tiden Kongress-Polen var en del av Det russiske imperiet. I forbindelse med utbruddet av første verdenskrig flyttet han og familien til Moskva, og hans bror Dziga Vertov begynte på en skole i St. Petersburg. Etter oktoberrevolusjonen i 1917 ble Polen en selvstendig republikk, og Boris flyttet dit med sine foreldre. Mikhail og Denis ble i Sovjetunionen hvor de ble kjente sovjetiske filmskapere som produserte avantgarde- og propagandafilmer. Som følge av den polsk-sovjetiske krig ble Boris sendt til Paris av sine foreldre for å få undervisning.