Hans foreldre var Anna Rosbaud (død 1913) og Josef Heinnisser. Paul var det tredje barnet Anna Rosbaud fikk utenfor ekteskap. Den 15 år eldre broren Bruno hadde Anna adoptert bort til en familie i Beograd. Johann (Hans) var et par år eldre enn Paul og de to vokste opp hos moren. Pauls søster Martha var også født utenfor ekteskap og hun ble plassert i et fosterhjem fordi Anna ikke klarte å ta seg av tre barn. Moren fortalte aldri Paul hvem den biologiske faren var. Broren var som moren musikalsk begavet og ble en kjent dirigent. Hans Rosbaud studerte musikk sammen med komponisten Paul Hindemith og de to var nære venner resten av livet.