Han ble født i Litauen, i en polsk szlachta-familie av litauisk opprinnelse. På den tiden lå området under Russland som følge av Polens delinger. I 1885 begynte han å studere medisin ved universitetet i Kharkov (dagens Kharkiv). I 1887 ble Piłsudski sendt til 5 år i straffeleir i Sibir, som følge av en falsk anklage om deltagelse i planleggingen av et attentat mot den russiske tsar Alexander III.