在1023年间，三佛齐遭到印度注辇国（Chola）军队袭击，都城被攻陷。当注辇国王返回印度之后，室利佛逝遂趁机复兴而转以“巫来由”为都城。在13世纪，室利佛逝王又被来自爪哇的满者伯夷（Majapahit）国所灭，巫来由王子拜里米苏拉被逼逃亡而最终建国于马六甲。“马来王朝”（马六甲王朝）强盛时期，巫来由人趁势向马来半岛涌进，他们离乡背井之后殊少与巫来由地方发生联系，逐渐地脱离了与“巫来由”地方的关系，而终以半岛为故乡。
古书提及.公元672年间，到过马来群岛讲经的唐僧义净在其《大唐西