Se trataba de un palacio del siglo XVI, propiedad de la familia de los Lujanes, levantado sobre el palacio de los Vargas, amos de Isidro Labrador y Santa María de la Cabeza.