以闽南人为主，客家人比例达23%，而外省人的比例占8.4%。在闽南族群中也有泉州和漳州以外的台湾潮州人，恆春半岛及一些地方如高树乡也有福佬客的存在。广东移民内部的结构与桃竹苗地区不同，嘉应州移民在本区将近90%数量，而桃竹苗有相当比例之惠、潮移民。原住民族在本县则占有7.4%，主要是排湾族和鲁凯族，截至2020年7月，前后者分别占6.03%和0.75%。为台湾原住民比例第三高的县，仅次于台东县及花莲县。此外，县内尚有待中央政府修法认定的平埔原住民，主要为马卡道族，截至2017年9月25日止，有1803人