Nacido en la antigua ciudad de Leningrado (actual San Petersburgo) e hijo de un oficial del NKVD, Kalugin asistió a la Universidad de Leningrado y posteriormente fue reclutado por el KGB, bajo la égida del Primer Directorio (rama de la Inteligencia Exterior).