Los restos actuales del castillo del Portazgo tienen sus orígenes en el siglo XII, si bien este lugar fue utilizado por diversas culturas como la argárica, romana o árabe.