Tsjervjakov ble medlem av Det russiske kommunistpartiet i 1917. I 1920 ble han utnevnt til formann av Revolusjonskomitéen i Minsk, og var involvert i dannelsen av Sovjetunionen.