蒙古崛起之后,成吉思汗南下经略中原,中原分布着一些专制一方的“世侯”,一些较大的“世侯”都被授以“行省”的官号,如东平路的严实、济南路的张荣等。这些“行省”所辖大都仅一路或数路之地,并非中央派出机构,不过是蒙古统治者用来笼络世侯们所假借的名爵罢了。
随着蒙古的征伐军事活动,地理版图的不断扩大,管理上难度增加。到了窝阔台时期,除了蒙古本部之外,窝阔台将征服地区划分为三大行政区。蒙哥即位后,重新任命了三大行政区的官员,汉籍分别称为燕京、别失八里、阿母河三大行省。忽必烈即位后,依靠中原的力量战胜了阿里不哥,一方面统治重心南移,另一方面此时蒙古的钦察、察合台、窝阔台、伊利四大汗国也相继分立。此时忽必烈实际控制的领土相当于昔日蒙古的中部和“燕京行省”之地,为了便于处理中央和地方的事务,忽必烈相继在开平、燕京以及京兆、平阳等地设立“中书省”和“行中书省”的机构。这一时期的行省大都属于中书省的临时派出机构,因事而设,事已则罢。