1649年(慶安2年)、戸田氏鉄の代の改築によって明治に至る姿となった。