陣屋の敷地内には、来島氏の故地である伊予大三島の大山祇神社の祭神を勧請して三島神社（末広神社）が造営されていたが、天保8年（1837年）、第8代藩主の久留島通嘉が、三島神社の改築を口実として、石垣や茶屋の「栖鳳楼」（せいほうろう）を増築するとともに、藩主御殿庭園、栖鳳楼庭園、清水御門庭園を造らせ、城構えのように整えた。
天保8年（1837年）第8代藩主久留岛通嘉以改建三岛神社为借口，增筑有着石垣与茶屋的栖凤楼（せいほうろう），包含藩主御殿庭园、栖凤楼庭园、清水御门庭园等，规格上已经接近城。