苏联最高苏维埃代表。1938－1945年任莫斯科州委兼市委第一书记。 1939年，谢尔巴科夫在党的第18次代表大会上当选为联共（布）中央委员。1941年起为中央政治局候补委员兼任联共（布）中央书记.是莫斯科战役的领导人之一。1942年起继列夫·扎哈洛维奇·麦赫利斯之后任苏联红军政治部主任、苏联副国防人民委员和苏联情报局局长。他在军队中开展政治工作，表现出卓越的组织才能。1943年被授予上将军衔。格奥尔基·朱可夫在总结苏德战争胜利的原因时，特别提到了责的总编练部、安德烈·瓦西里耶维奇·赫鲁廖夫负责的总后勤