Han ble født i en kunstnerfamilie; faren Eduard von Borsody var filmregissør og moren Maria von Borsody fiolinist. Onkelen Julius von Borsody var Østerrikes første filmarkitekt. Familien flyttet til Berlin da han var tre år, og fikk rikstysk statsborgerskap. Under annen verdenskrig reiste de tilbake til Wien på grunn av bombeangrepene.