奥尔洛夫出生在白俄罗斯博布鲁伊斯克的一个东正教犹太人家庭，曾在莫斯科大学学习，后来加入沙俄军队。俄国内战爆发之后奥尔洛夫加入苏联红军，成为总参谋部情报部（格鲁乌）的军官，活跃于乌克兰的基辅，击败了白军。后来前往阿尔汉格尔斯克，进入内务人民委员部附属国家政治保卫局中工作。1924年5月，成为秘密警察中的一员。作为内务人民委员部的间谍，他曾先后前往巴黎、柏林、美国、奥地利、英国等地活动。后来西班牙内战爆发，内务人民委员部派遣奥尔洛夫前去协助西班牙第二共和国，并在内战中扮演重要角色。20世纪三十年代，苏联