El castillo Hikuma fue construido en el sitio alrededor del año 1532 por un vasallo del Imagawa clan pero fue conquistado en 1568 por el shōgun Tokugawa Ieyasu, quien se mudó ahí procedente del Castillo Okazaki en 1570.