Prydz ble født i på Abildsø i Østre Aker som sønn av offiseren Hans Prydz og sønnesønn av offiseren Peter Blankenborg Prydz. Han ble selv offiser i nordenfjeldske infanteriregiment i 1792. I 1809 ble han kaptein og sjef for skedsmoske kompani. I 1818 ble han overført til 2. akershusiske brigade, med majors grad fra 1825.