家人在文化上处于优势地位，在文化交往中，畲族的语言借入了包括语音、词汇、语法在内大量的客家语元素，甚至有些固有词汇都被来自客家语的词汇取代了。至宋元期间，畲族又陆续向闽北、闽东和浙南移民。这些畲族移民到达新居住地后，由于人数和文化上的劣势，被迫学习闽北语、闽东语、闽南语等当地方言，从而使山哈话的成分变得更加复杂。虽然有的学者认为山哈话是客家语的一种方言，但另一些学者则持反对意见，认为不能简单地说畲族放弃自己的母语畲语，而是畲语在演变之后变得与客家语相似，今日山哈话中仍保留有古代畲语的底层元素。S