Андропов је био син железничког службеника и вероватно је рођен у Нагитскоји, Ставропољској губернији, царска Русија. Кратко се образовао у Рубинском техничком факултету, пре него што је ступио у Комсомол 1930. године. Постепено је дошао до чланства у пуној партији 1939. и био је први секретар Комсомола у совјеткој Карело-финској републици од 1940. до 1944. године. Током Другог светског рата, Андропов је узео учешћа у партизанским активностима. 1951. се преселио у Москву и ступио је у партијски секретаријат. 1954. године је постао совјетски амбасадор у Мађарској. Андропов је био један од одговорних за совјетску одлуку да се нападне Мађарска током Мађарске револуције 1956. године.