Al carecer de un palacio episcopal, y debido a la gran distancia con Sigüenza, el obispo Juan Díaz de la Guerra llegó a un acuerdo con su mayordomo en la localidad, Matías García, para la construcción de un edificio "bello e digno".