客家人不时冲突，彼此之间没有往来，不时有械斗发生，而且建立围屋以作防护，在广东大规模的土客械斗中支持广府人、四邑人一方。语言受闽、粤两方互相影响，如「爸」是闽南语的发音。在本地人的三十多个「姓族」中，邓、侯、彭、廖、文这五个姓族的历史最为悠久，被称为新界五大氏族。围头人包括为百粤系、闽系以及粤系人。
客家.客家人主要集中在广东、福建以及江西交界山区居住，清代迁海禁界后，香港的人口几乎尽迁大陆，在郑成功的南明政权灭亡后，清政府由广东内陆周边地区把人口迁入香港，客家人迁入时，人数多于农