Pavel Semënovič Rybalko era nato in una povera famiglia (il padre era operaio in uno zuccherificio) in un villaggio ucraino vicino Lebedin; già all'età di 13 anni divenne apprendista tornitore. Durante la Prima guerra mondiale combatté come soldato semplice con valore e ricevette la Croce di San Giorgio. Allo scoppio della Rivoluzione russa entrò prima nelle Guardie Rosse e poi (nel gennaio 1919) nella nuova Armata Rossa. Tra il 1918 e il 1920 avrebbe preso parte attiva alla Guerra Civile nella famosa 1ª Armata a cavallo del generale Semën Budënnyj come commissario politico e comandante dell'80º Reggimento di cavalleria della 14ª Divisione di cavalleria. Costantemente in azione, venne ferito in cinque anni di guerra per 14 volte e si mise in evidenza combattendo i Bianchi a Rostov sul Don, le bande di Nestor Machno, le truppe di Vrangel' in Crimea ed i polacchi durante la Guerra sovietico-polacca.