Aleksej Abrikosov ble født i Moskva i det som da var Sovjetunionen, begge foreldrene hans var fysikere, faren hans var Alexei Ivanovich Abrikosov, og moren hans var Fani Abrikosova. Han ble uteksaminert fra statsuniversitetet i Moskva i 1948. Fra 1948 til 1965 jobbet han hos Instituttet for fysiskproblemer ved Sovjetunionens Vitenskapsakademi, hvor han i 1951 fikk sin doktorgrad for teorien om termisk diffusjon i plasma, og deretter doktorgrad i fysikk og matematikk i 1955 på grunnlag av avhandlingen om kvanteelektrodynamikk ved høye energier.