入克格勃干部培训班，1969年毕业后分配至克格勃第一总局负责对外情报工作。曾在伊朗等国家和地区担任驻在员。1975年升任克格勃第一总局K局（反情报局）三处阿富汗事务主任。1979年冬，他为333风暴行动的策划和实施做出了巨大贡献，曾在11月下旬指挥一支信号旗特种部队伪装成技术工人抵达巴格拉姆，最终成功暗杀阿富汗人民民主党总书记哈菲佐拉·阿明。1981年至1987年，戈卢别夫在伊斯坦布尔工作。回国后升任克格勃第一总局K局局长。1989年至1991年10月，任第一总局第20局局长。1990年12月晋升少将。