El origen del nombre no es seguro, aunque se habla de un asentamiento judío en la zona en tiempos romanos llamado "Cadalfarum" del que habría derivado el término de Cadalso.