任曰行，故曰『「行」中书省』。另外，根据学者钱穆的说法，元朝政府所设的「行中书省」意为「派出的中书省」，即中央政府为维护其统治在地方行政上所设的全权机关，而与具有一定自治权力的地方政府有权力来源上的不同。在“行中书省”之下，元朝先后将宋代的路改为道、州升为路，部分的县则改升为州，与县平级（直隶州在外），实行省、道、路、州（县）四级地方行政制。
历史.行省的设置可以上溯至南北朝时期的行台。北魏为了统一指挥战事和调度战区人力、物力，在州之上设立“某某道大行台”，集中行使军事、行政权