土话是郴州名副其实的第一大语言，分布在郴州的大多数城镇和绝大多数乡村，以对内交流为主，湘南土话在郴州各县境内的口音差异很大。另外，湘南土话不仅与西南官话完全不同，与湖南省内占主导的湘语也无法互通。郴州位于中国南北要冲，历来接纳了众多不同地方的外来移民。西南官话在郴州市城区和部分城镇占主导地位，为对外使用，成为郴州境内各种方言使用者相互交流的主要工具。外界所谓的“郴州话”其实只是郴州市城区所使用的西南官话。此外，客家话分布在郴州东南部的汝城等地。郴州的瑶族使用勉语（瑶族语言的一种）。