祖武德5年（622年）建石城县，唐玄宗天宝元年（742年）改称廉江县。其后曾设罗州府，1915年复置廉江县。1993年撤县设市。
语言.廉江市境内有粤客闽三大民系族群分布聚居，主要有廉江白话（粤语高阳片）、涯话（畲语）、黎话（雷州话）（闽语）三大地方语言。廉江涯话的使用人口数量最多，占总人口50%左右。廉江白话的人口占总人口35%左右。剩下的人口有讲黎话、海话等。廉江市虽然操涯话的人口数量最多，但是由于市区主要讲白话，涯话（客家语）和黎话（福建闽语）的农村人口迁移到市区后，第二