Rennenkampf liittyi armeijaan 19-vuotiaana ja kävi Nikolajevin yleisesikunta-akatemian Pietarissa vuosina 1879–1882. Sen jälkeen hänet nimitettiin pääesikuntaan ja hän yleni vuoteen 1900 mennessä kenraalimajuriksi. Siirryttyään ratsuväkeen hän osallistui Kiinan boksarikapinan kukistamiseen 1900–1901, jolloin hänen joukkonsa valtasivat Qiqiharin ja Kirinin. Venäjän–Japanin sodassa Rennenkampf komensi Transbaikalin kasakkadivisioonaa ja myöhemmin kolmatta siperialaista armeijakuntaa. Kenraali Aleksandr Samsonov arvosteli tuolloin hänen toimintaansa Mukdenin taistelussa. Vuodesta 1913 Rennenkampf toimi Vilnan sotilaspiirin päällikkönä.