Han giftet seg i 1937 med en ekspeditrise to år yngre enn ham selv, som het Gertrude. De hadde to barn, en sønn og en datter, sammen. Ogorzow ble husket av sine naboer for ofte å ha blitt sett lekende med sine barn, og tilbrakte mye tid i hagen rundt sitt hjem og han hadde en frukthage i bakgården. Under hans siste rettssak hevdet Ogorzows kone at han ofte var voldelig.