El castell està situat en el turó dels Moros, del que pren el seu nom, i que amb anterioritat a la seva fortificació havia demostrat ser una posició estratègica per a la defensa de la plaça, quan durant la Guerra de Successió Espanyola va ser utilitzat per l'artilleria filipista del Duc de Berwick per acabar amb la resistència austracista del castell de la Concepció (1706).