斯科中山大学学习，同学包括邓小平、伍修权等，同桌是蒋介石之子蒋经国。1929年6月回国后，开始参与组织、领导蒙古地方群众斗争；任中共西蒙工委组织委员、书记。1931年10月，受王若飞指派，在西蒙从事群众、党务、军运和情报工作；曾策划1936年2月的“百灵庙暴动”；后又组建“蒙旗保安总队”，任政治部代主任，并在该部队任中共党委书记。
战争期间.抗日战争爆发后，乌兰夫率部在归绥、黑河一带阻击日军。后转战到陕北神木、府谷地区，受中共中央指派进驻伊克昭盟。1938年4月，出任中共绥蒙工委委