No se sabe cuándo fue fundado el pueblo de El Cardoso, si bien se tiene constancia de su existencia a partir del siglo IX, cuando Buitrago del Lozoya cae en manos de los cristianos y estos empiezan a repoblar la sierra de Ayllón.