À la suite de l'invasion de l'URSS par l'Allemagne nazie, Chepilov rejoint la milice populaire , et y sert comme commissaire politique durant la bataille de Moscou. Terminant la guerre avec le rang de major-général, il fait ensuite partie de l’équipe soviétique qui dirige la capitale autrichienne occupée. En 1946 il est d'abord nommé second en chef du département de propagande et d'agitation au sein du principal directorat politique de l'Armée rouge, ensuite responsable du département de propagande de la "Pravda".