En el origen de su edificación está el gran obispo de Plasencia e importante mecenas del Renacimiento español Gutierre de Vargas Carvajal (Madrid, 1506-Jaraicejo, 1559).