蒙古人来耽罗驻军并牧马，这些蒙古人被高丽人称为“牧胡”。1294年元成宗即位后，在高丽国王的请求下，元朝将耽罗归还高丽，处于元与高丽共治。元朝末期，高丽恭愍王实行叛元政策，驱逐元朝在耽罗的势力。岛上的牧胡三千余人起兵反抗，恭愍王派遣崔莹等人镇压，平定了牧胡之乱。1404年取代高丽的朝鲜王朝朝廷下令废除星主，1406年置济州牧使。