明朝海盗与葡萄牙人所建，设有市政厅、教堂、医院及1000幢民居，人口3000以上。“佛朗机之来，皆以其地胡椒，苏木，象牙，苏油，沉、东、檀、乳诸香，与边民交易，其价甚平，其日用饮食之资于吾民者，如米、面、猪、鸡之数，其价皆倍于常，故边民乐与为市。”。由于明朝的锁国封闭政策，实行海禁，嘉靖二十七年1548年，浙江巡抚朱纨派都指挥卢镗率兵进攻双屿港，港口以木石淤塞，城市被大火烧光。数百葡萄牙人被杀，侥幸活命的乘船逃走。后来，葡萄牙人往南撤往广东澳门，明朝广东官员默许葡萄牙人在澳门借地开埠经商。