Andropov ble utdannet ved Den tekniske høyskole for vanntransport i Rybinsk og tok eksamen i 1936. Han ble medlem av Komsomol i 1930 og fullt medlem av partiet i 1939. Under andre verdenskrig deltok Andropov i partisangrupper som bedrev geriljakrig mot tyskerne. Etter krigen flyttet han til Moskva og ble en del av partisekretariatet i 1951.