Prittwitz tilhørte en svært gammel tysk adelslekt fra Schlesien. Han var sønn av Gustav von Prittwitz, som var prøyssisk generaljustisråd og Elisabeth von Klaß. Prittwitz gikk i sin fars fotspor og ble infanterioffiser.