Im Gebiet von Minakuchi gab es zwei Burgen gleichen Namens. Die eine Burg, Minakuchi-Okayama genannt, wurde von dem Burgherrn Nagatsuka Masaie (; 1562–1600) genutzt. Er gehörte zu den Verlierern der Schlacht von Sekigahara im Jahr 1600 und beging Seppuku. Die zweite Burg Minakuchi wurde 1632 für Tokugawa Iemitsu als zeitweilige Residenz erbaut. Dafür riss man die alte Burg ab und verwandte deren Steine und anderes Baumaterial. Diese Burg hatte keinen Burgherren, als Verwalter wurde ein Mitglied der Bakufu-Regierung, Tsubouchi Gemba (), eingesetzt. Die 1634 fertiggestellte Burg blieb so fast ein halbes Jahrhundert ohne Burgherren, bis dann 1682 schließlich Katō Akitomo (; 1621–1684) die Burg erhielt. Dieser Zweig der Katō musste die Burg bald wieder abgeben, erhielt sie aber 1712 mit etwas erhöhten Einnahmen zurück und residierte dort bis 1868, dem Jahr der Meiji-Restauration.