Hay algunos datos que ubican los principios históricos del pueblo dentro de la dominación del pueblo romano, pero también los hay de que ya existía anteriormente aunque estos son más bien sospechas, de que en Chillarón vivieron gentes de otras culturas o religiones al encontrarse un ídolo de cuarcita representando la figura femenina y la masculina, evocando la fecundidad.