Ursprünglich soll in der Kamakura-Zeit an der Stelle der Burg ein Wohnsitz einer reichen Familie sich befunden haben. In der Sengoku-Zeit baute dort im Jahr 1594 der einflussreiche Anführer von Seestreitkräften, Yuki Yoshitaka (; 1552–1600), auf der Spitze einer Landzunge eine Burg und durchtrennte die Verbindung zum Festland durch einen Graben. Yoshitaka ist berühmt als Schiffsbauer und als wichtiger Teilnehmer am Korea-Feldzug. Sein Sohn kämpfte auf der Seite Tokugawa Ieyasus und wurde nach der Schlacht von Sekigahara in seinem Besitz bestätigt.