Para conocer su origen es necesario remontarse al año 1686, como consta en uno se sus escudos que da a la calle Mayor, en que terminaron las obras promovidas por el Obispo de Coria, Don Juan Porras y Atienza Castro Toro y Cifontes y Torrequemada, el cual debía conocer ya este pueblo por su estancia anterior en Coria y le habría gustado muchísimo, pues compró rápidamente unas casas que ocupaban el lugar donde hoy se encuentra el palacio y las reeddificó (para la dignidad episcopal).