Robert Siodmak kom fra en jødisk familie. Foreldrene var kjøpmannen Ignatz Siodmak og hans hustru Rosa Philippine, født Blum. Ignatz Siodmak stammet opprinnelig fra Schlesien, var utvandret til De forente stater og hadde seg så i 1899 kommet tilbake som amerikansk statsborger til Tyskland, og giftet seg der. I 1902 ble her også Robert Siodmaks lillebror Curt Siodmak født. Robert Siodmaks mor døde av kreft før sin 40-årsdag, lillebroren begikk selvmord da han var fylt tyve år. Allerede i ungdomsårene brøt Robert med sin far.