Han var sønn av general Vasilij Margelov, øverstkommanderende for de sovjetiske luftlandingsstyrker. Etter skolegang i 1958 i Taganrog studerte han juss ved Lomonossovuniversitetet i Moskva, og tok slutteksamen i 1963.