利神城
この地に入封した由之は5年の歳月を要して城を大改修した。三重の天守を構え、曲輪を全て石垣で築き回廊で結んだ。また、山麓に城主屋敷、武家町、街道沿いに町人地を設け城下町を整備した。城を見た輝政はその豪壮さに驚き、江戸幕府の警戒を恐れて天守の破却を命じたとされる。由之は1609年(慶長14年)に備前国下津井城の城番として転出し、この時点で三重天守など主要建造物は取り壊されていた。1615年(元和元年)輝政の6男輝興が2万5千石を与えられ平福藩が立藩し城主となった。
1631年(寛永8年)輝興は兄の政綱が継嗣無くして死去したことにより赤穂藩を嗣いだため、平福藩は廃藩となり利神城も廃城となった。以後、この地には旗本松平氏の所領となり宿場町の一角に代官の陣屋が構えられた。
2015年(平成27年)度から石垣の修復や城址の整備などに取り掛かる。石垣の状態が悪く崩落の危険性がある為に無断入城を禁止している。現在ではガイドツアー同行時のみ三の丸までの登城が可能になっている