止能找到的关于「四等人制」的说法来源于清朝末年屠寄的《蒙兀儿史记》，屠寄认为元朝社会民族界限严格分为蒙古、色目、汉人、南人四个等级。在清末民初时期，由于受到西方民族主义思潮的影响，元代四等人制度被广泛引用，并且被写进了当时的历史教科书，如史学家钱穆的《国史大纲》和范文澜的《中国通史简编》等。
元代基层官员的族群结构.在北方地区，108个达鲁花赤（为了蒙古本部之外的区域而设的一种体制）中并没有南人，然而在北方州县蒙古人达鲁花赤的数量甚至低于汉人（或与「族不详者」有关），而色目的比例大