耽罗成为元朝的直辖地耽罗军民总管府，蒙古人看中此地，用来牧马，是蒙古马与韩国果下马配种的地方。元朝派遣蒙古人来耽罗驻军并牧马，这些蒙古人被高丽人称为“牧胡”。1294年元成宗即位后，在高丽国王的请求下，元朝将耽罗归还高丽，处于元与高丽共治。元朝末期，高丽恭愍王实行叛元政策，驱逐元朝在耽罗的势力。岛上的牧胡三千余人起兵反抗，恭愍王派遣崔莹等人镇压，平定了牧胡之乱。1404年取代高丽的朝鲜王朝朝廷下令废除星主，1406年置济州牧使。