Дом с флагштоком был построен в 1846 году как резиденция командующего британским гарнизоном Гонконга. Во время битвы за Гонконг здание сильно пострадало от обстрелов и бомбардировок, но вскоре было восстановлено японцами. В период оккупации оно служило резиденцией японского коменданта города. После освобождения Гонконга Дом с флагштоком вновь был местом жительства британского командующего, который в 1978 году переехал в новую резиденцию на Баркер-роуд. В конце 1970-х годов военные передали дом в составе казарм Виктория под юрисдикцию правительства, а то в свою очередь в 1981 году переподчинило его городскому совету.