Esta unidad jurisdiccional constituyó el origen del Señorío de Buitrago, que en el siglo XIV pasó a la Casa de los Mendoza, uno de cuyos miembros, Iñigo López de Mendoza, marqués de Santillana, menciona a Robledillo en una de sus Serranillas diciendo: “Madrugando en Robledillo/ por yr buscar un venado,/ fallé luego al Colladillo/ caça, de que fui pagado./ Al pie de aquessa montaña,/ la que dizen de Verçossa,/ vi guardar muy grant cabaña/ de vacas moça fermosa”.