瑶族等古代土着民族的居住区，现在的潇水上游还有许多他们的后裔。汉朝以后瑶族人口大减，可能是汉族人的大量南迁而对瑶族人的同化所致。唐朝时柳宗元来到永州时说这地方的人说话非常奇怪，自己完全听不懂，但几年后自己的口音也和永州当地人一样了。显然唐朝时这里的人改说汉语了，但口音与用词较为特殊，也许这是现代“永州话”的源头。然后，许多湖南中部和东部的人移入永州，使“永州话”更偏向于湘语。明清之际又有大量江西人迁来，赣语对“永州话”也有影响，如「这里」说「dang」，与江西的泰和方言说法一致。现代，“永州话”又受到了西南