明治4年の廃藩置県後、明治5年(1872年)には薩摩藩主島津忠義は居城であった鹿児島城から仙巌園に転居し、増築を行いさらに入口を錫門から本門まで拡張した。