Ханьцы начали переселяться на территорию современного Гуандуна в X—XI веках, постепенно ассимилируя и вытесняя автохтонное население. Самое раннее письменное упоминание Гонконга относится к правлению императора Чжэнь-цзуна (997—1022). Также к эпохе империи Сун относится старейший каменный храм Гонконга, построенный во второй половине XIII века в Сайкуне и посвящённый богине Тяньхоу. В 1276—1279 годах, спасаясь от монгольского нашествия, на территорию современного Гонконга бежали некоторые представители сунского двора и сопровождавшие их чиновники. В конце правления династии Южная Сун на равнинах Новых территорий поселились представители крупнейшего клана Тан (Дэн, Tang, или Deng, 鄧). В период империи Юань население Гонконга быстро росло, в основном за счёт китайских беженцев. Костяк составляли представители пяти кланов — Тан, Хау (Хоу, Hau, или Hou, 候), Пан (Пэн, Pang, или Peng, 彭), Лиу (Ляо, Liu, или Liao, 廖) и Мань (Вэнь, Man, или Wen, 文).