Andropov ble født den 15. juni 1914, mest sannsynlig i Nagutskoje, Stavropol Gubernija, som sønn av en jernbanefunksjonær, Vladimir Konstantinovitsj Andropov, som var av donkosakkisk slekt, og Jevgenia Karlovna Fleckenstein, adoptivdatter av den moskovittiske urmaker Karl Franzovitsj Fleckenstein som kom fra Finland. Begge foreldrene døde tidlig, og Jurij ble foreldreløs som 13-åring. Som tenåring arbeidet han som losser, telegraffunksjonær og sjømann for et dampskipsselskap på Volga.