战爆发之后奥尔洛夫加入苏联红军，成为总参谋部情报部（格鲁乌）的军官，活跃于乌克兰的基辅，击败了白军。后来前往阿尔汉格尔斯克，进入内务人民委员部附属国家政治保卫局中工作。1924年5月，成为秘密警察中的一员。作为内务人民委员部的间谍，他曾先后前往巴黎、柏林、美国、奥地利、英国等地活动。后来西班牙内战爆发，内务人民委员部派遣奥尔洛夫前去协助西班牙第二共和国，并在内战中扮演重要角色。20世纪三十年代，苏联发动大清洗，奥尔洛夫的不少上司和同事都遭到逮捕。其上司阿布拉姆·斯卢茨基声称得到消息，说德军计划刺杀奥