Rubakov studerte fysikk ved Moskva statsuniversitet med eksamen i 1978.у Han begynte på doktorarbeide ved Institutt for kjernefysisk forskning (INR RAS: Институт ядерных исследований) og ble ferdig med doktorarbeidet i 1981, under veiledning av N. V. Krasnikov og A. N. Tavkhelidze («The structure of the vacuum in gauge models of quantum field theory». Han ble doktor i fysiske og matematiske vitenskaper i 1989.