El castillo Aya fue construido entre los años 1331 y 1334 y debe su nombre al hombre que coordinó la construcción, el cual se llamaba a sí mismo “aya”, aunque su nombre real era Koshiro Yoghito.