У 1843 на півострові Коулун звели бараки на 150 солдатів, оточені стіною з гранітних блоків 4,5 м завширшки та 3,9 м заввишки. Власне тоді Коулун і став містом-фортецею 700 футів завдовжки та 400 футів завширшки. Зміцнення форту, включаючи будівництво оборонної стіни, було завершено в 1847 році. Він отримав 5 вартових веж і 4 брами. В 1854 році місто-фортецю захопили повстанці під час повстання тайпінів, та утримували його протягом декількох тижнів.