Se inició su construcción en 1534 como capilla adosada al palacio condal con un proyecto de arquitectura gótica, de manos de Alonso de Covarrubias, y se terminó en 1626, tras haber estado paradas las obras cuarenta y ocho años, con la colaboración del patrimonio del Condado de Chinchón.