旗高等小学校毕业后，1923年乌兰夫进入北平蒙藏学校学习。在李大钊、赵世炎、邓中夏等共产党人的帮助下，参加马克思主义研究小组，学习马列主义理论；同年12月，加入中国社会主义青年团。1925年5月，参加了五卅运动。9月，在加入中国共产党后，被派赴莫斯科中山大学学习，同学包括邓小平、伍修权等，同桌是蒋介石之子蒋经国。1929年6月回国后，开始参与组织、领导蒙古地方群众斗争；任中共西蒙工委组织委员、书记。1931年10月，受王若飞指派，在西蒙从事群众、党务、军运和情报工作；曾策划1936年2月的“百灵庙暴动”