Del castillo hay referencias documentales en el siglo XIV en las que se indica que la «torre baxa que llamavan de los Losada».