Según cuenta una leyenda, el palacio era residencia veraniega de Doña Jimena, la mujer del Cid Campeador, aunque resulta poco verosímil puesto que su construcción es 3 siglos posterior a su muerte.