Dia menjadi perwira junior di Tentara Merah dan ikut bertempur dalam Pertempuran Stalingrad serta dalam operasi militer yang sukses untuk merebut kembali Ukraina dan Belorusia dari tentara Jerman. Varennikov menyelesaikan Perang Patriotik Besar dalam Pertempuran Berlin sebagai salah satu panglima pasukan Soviet yang merebut Reichstag.