屋敷曾遭到大火烧毁，之后由居住的中国人自行重新建造，也因此出现大量中国式的建筑、宗教设施、商店；1858年日本结束锁国政策，长崎港开放对各国的贸易，也不再限制中国人的居住区域，因此中国人逐渐从唐人屋敷迁往更靠近海岸的新地，也逐渐在新地地区形成现在的长崎新地中华街。此后唐人屋敷逐渐成为废墟，之后内部的土神堂、观音堂、天后堂被修复维持使用，1868年来自福建省泉州的人又将部分区域改建为八闽会所，1870年一场大火又将原本唐人屋敷内的大多木造建筑烧毁，之后部分区域又成为福建会馆，其余区域则陆续被政府出售给民众