群体并没有一套有系统的手语，他们自创一些动作，再辅以肢体动作来与别人沟通，直至后来有一对上海聋人夫妇来港，自资成立华侨聋哑学校教授手语。手语有语法、有词汇；因历史文化的演变，更发展出独特的语言系统。在1960年代，香港已发展出一套手语。聋人机构「龙耳」的手语翻译员指出，香港现时流通的手语主要有两种，一种是中文手语，意思是直接将整句句字，逐一逐一地顺序打出，而另一种是自然手语，以「重点放在前，问句量词放在后」为原则，方便以视觉作主要接收讯息的聋人迅速明白说话的内容。根据香港统计处资料，香港有15万