El topónimo Sax es de origen incierto, aunque ha sido relacionado con el término latín "saxum" (peñasco), debido a la puntiaguda mole rocosa sobre la que se alza su castillo, y alrededor de la cual apareció la villa.