De aquella época proviene la denominación de "caribes" para los habitantes de Zarzalejo de arriba: según es tradición, éstos se opusieron duramente a la construcción del Monasterio de El Escorial en su término y, ante su actitud, Felipe II afirmó que eran "más indómitos que los indios caribes".