Jaroslavski osallistui Lokakuun vallankumoukseen Moskovassa, toimi Kremlin ja Moskovan sotilaspiirin komissaarina. Vuonna 1918 hän kuului Brest-Litovskin rauhaa vastustaneisiin vasemmistokommunisteihin. Vuosina 1919–1922 hän työskenteli VKP(b):n Permin kuvernementtikomitean puheenjohtajana, keskuskomitean Siperian aluebyroon jäsenenä ja vuodesta 1921 keskuskomitean sihteerinä.