942年起继列夫·扎哈洛维奇·麦赫利斯之后任苏联红军政治部主任、苏联副国防人民委员和苏联情报局局长。他在军队中开展政治工作，表现出卓越的组织才能。1943年被授予上将军衔。格奥尔基·朱可夫在总结苏德战争胜利的原因时，特别提到了责的总编练部、安德烈·瓦西里耶维奇·赫鲁廖夫负责的总后勤部、潘捷列伊蒙·康德拉季耶维奇·波诺马连科负责的游击运动和谢尔巴科夫负责的总政治部的作用，朱可夫认为斯大林很尊敬和信任他谢尔巴科夫，谢尔巴科夫属于那种“善于在首都保卫者的心中燃起对法西斯匪徒炽烈的仇恨之火”的人。1945年5月