Han vokste opp i fattigdom fordi faren Otto Jan Józefat von Zelewski ikke var i stand til å holde på et arbeide. Da faren døde 17. april 1911, arbeidet han som forsikringsfunksjonær i Dortmund, og sønnen Erich ble sterkere knyttet til onkelen Oskar von Zelewski som var offiser.