莫斯科省附近的鲁扎。1907年谢尔巴科夫的父亲去世，全家搬到雷宾斯克。谢尔巴科夫在当地上了小学，12岁起到印刷厂当学徒，后来还在铁路上工作。1917年，谢尔巴科夫参加赤卫军。1918年加入俄国共产党，参与组织雷宾斯克的青年工人联盟。同年夏天参与平定雅罗斯拉夫尔省白卫军的叛乱。1919－1921年先后任俄国共产主义青年团中央委员会突厥斯坦局委员和突厥斯坦共产主义青年团中央委员会主席团委员。1921－1924年在斯维尔德洛夫的共产主义者大学学习。 1924年起，谢尔巴科夫在下诺夫哥罗德省（高尔基州）从事党务