Etter å ha blitt løslatt ble han fra 1893 medlem av det polske sosialistpartiet i Russland og ble i 1895 et av partiets ledere. I 1900 ble han arrestert av russiske myndigheter, men klarte å rømme til Galicia etter å ha simulert en sinnssykdom. Tilhengerne av Piłsudski kunne uhindret organisere seg i Østerrike, som da omfattet Galicia og deler av Schlesien. Piłsudski anså det russiske keiserdømmet som det største hinder for polsk selvstendighet, og han stilte seg derfor først på Sentralmaktenes (Tyskland, Østerrike-Ungarn og Tyrkias) side for å sikre seg dets undergang under første verdenskrig).