だが、1866年の豚屋火事によってこれらの建物は焼失し、居留地の都市的整備の進展や外国人技術者の登場によって、耐火性能を重視した建物に取って代わられていった。