Ayaborgen ble bygget rundt midten av 1300 tallet av Yoshito Hosokawa. Ayaborgen ble en viktig militærbase for Itohklanen i krigen mot Shimazuklanen fra Kagoshima. Borgen ble forlatt i første halvdel av 1600 tallet da et dekret fra Tokugawa-shogunatet la begrensninger på antall borger som kunne eksistere innenfor visse områder.