Rżewski był członkiem i aktywnym działaczem początkowo Polskiej Partii Socjalistycznej-Prawica (do 1923), a następnie (1904-1911) Organizacji Bojowej PPS. Aktywny uczestnik rewolucji 1905–1907 roku w ramach OB PPS, w czasie tzw. powstania łódzkiego w czerwcu 1905 roku. Podczas tych wydarzeń został postrzelony w nogę.