En 1558 aparece en documentos como Señorío de Colmenar y a partir de 1611, como patrimonio del Primer Vizconde de Colmenar.