Prigorovski syntyi nykyisen Valko-Venäjän alueella sijainneen Mogiljovin kuvernementin Rogatšovin kihlakunnassa. Hän oli jo koululaisena mukana vallankumoksellisessa toiminnassa, jonka vuoksi Prigorovski erotettiin Mahiljoun kymnaasista vuonna 1914. Tämän jälkeen hän suoritti opintonsa loppuun Smolenskin kaupungissa toimineessa yksityisessä koulussa ja lähti edelleen lukemaan lakia Pietarin valtionyliopistoon. Prigorovski liittyi Venäjän sosiaalidemokraattisen työväenpuolueen opiskelijajärjestöön, kunnes hänet vangittiin laittoman toiminnan vuoksi keväällä 1915. Vapautumisensa jälkeen Prigorovskin piti jättää yliopisto, ja hän aloitti opinnot Pietarhovin jalkaväkikoulussa. Myöhemmin hän palveli Gžatskin kaupunkiin sijoitetussa reserviläisrykmentissä, missä hänet vuoden 1917 helmikuun vallankumouksen aikana valittiin sotilasneuvoston johtoon.