Durant la Segona Guerra Mundial, Andrópov va combatre amb les forces soviètiques com a partisà a Finlàndia i Carèlia. Després de la guerra, es va traslladar a Moscou, i va entrar a formar part del Secretariat del Partit Comunista de la Unió Soviètica.