El primitivo poblado emplazado a orillas del río Guadarrama, tuvo la denominación de Val de Olivas, que después de la reconquista y apropiación por la hidalga dinastía de los Vargas, parece ser que se sustituyó su nombre por el de Vargas; denominación que ha conservado hasta finales del siglo , según copia de la sigilografía empleada por el ayuntamiento de Bargas.