Se mandó construir para el cardenal Diego de Espinosa, Obispo de Sigüenza, al que el rey Felipe II tenía en tal aprecio y consideración que en 1569 mandó comprar para Espinosa "algún lugar para establecer su casa con el título de marqués" (a expensas del propio rey).