József Sas ble født til en jødisk familie. Faren, Izidor Polacsek, var en skuespiller som benyttet scenenavnet Imre Sas. Faren ble deportert til konsentrasjonsleiren Auschwitz, der han ble drept i 1944.