Llegó a tener, aparte de la muralla con sus tres puertas (Madrid, Toledo y Badajoz pero conocidas como Maqueda, Alcabón y Talavera), tres iglesias (San Pedro Apóstol, San Julián y San Miguel), el convento franciscano de San Juan Bautista con su iglesia, el palacio de los Condes de Orgaz de estilo herreriano, el hospital de caridad de San Antón con capilla, y tres ermitas (San Sebastián, San Roque, San Blas), entre otros monumentos menores que hacían de Santa Olalla capital jurisdiccional de todos los pueblos de la comarca que pertenecían al señorío.