王若飞指派，在西蒙从事群众、党务、军运和情报工作；曾策划1936年2月的“百灵庙暴动”；后又组建“蒙旗保安总队”，任政治部代主任，并在该部队任中共党委书记。
战争期间.抗日战争爆发后，乌兰夫率部在归绥、黑河一带阻击日军。后转战到陕北神木、府谷地区，受中共中央指派进驻伊克昭盟。1938年4月，出任中共绥蒙工委委员；同年5月，任国民革命军新编第三师政治部代理主任，堵截日伪军南渡黄河。1941年8月，由于国民政府指令在新编第三师“肃清共产党”，乌兰夫被迫赴延安，出任陕甘宁边区政府民族事务