第二期毕业后，便成为中共中央社会部的秘密干部（简称“秘干”），奉派前往西安。1938年底到达西安后，罗青长的公开身份是八路军西安办事处（简称“八办”）主任林伯渠的机要秘书，实际他还兼任党支部书记，负责“八办”内部安全保卫工作。1939年，罗青长打入胡宗南的部队，任国民革命军第三十八军（原为杨虎城旧部）中尉书记员，随后还任三青团西京分团办事员。在吴德峰领导下，罗青长从事胡宗南军队内部以及西安的中共地下情报系统工作，并负责安吴训练班的保卫工作。1940年，罗青长在西安的胡宗南部队潜伏期间，遇到杜希健女士