Sverdlov, som var av jødisk byrd, deltok i den revolusjonære bevegelsen fra han var 16 år gammel. Han ble fengslet i 1902, men ble snart løslatt igjen. I 1903 gikk han inn i bolsjevikpartiet. I 1907 ble han dømt til straffarbeid, ble løslatt i 1909, men i 1911 ble han deportert til Sibir i fire år. Han var en av de fremste organisatorene for oktoberrevolusjonen i 1917 og ble den første ordføreren i den kommunistiske sentrale eksekutivkomité.