El castillo de Montemayor se construyó utilizando restos de la antigua Ulia, ya que así lo evidencian los numerosos restos de columnas, piedras de molino, etc.