35年起，江户幕府开始限制中国商船只能进入长崎港进行贸易，当时虽然限制葡萄牙人只能居住于出岛，但中国人只要不是基督徒，就不会限制住所，因此最初中国人是直接居住于长崎的市区内。最初由于由于中国正值明朝的锁国时期，而接续的清朝为了防止当时中国沿海居民与在台湾的郑成功往来而下达了迁界令，因此当时来到长崎的中国人并不多。一直到1683年迁界令废止后，开始有大量中国商船来到长崎，才决定要限制中国人的居住地点。1688年在长崎的市区北侧山丘上开始兴建「唐人屋敷」，于1689年完成，占地6,800坪，包括20多座