Sus primeras referencias escritas datan de 1382 y en ellas se describe la visita del rey Juan I de Castilla al edificio, propiedad en aquel momento de Juana de Orozco.