Bygningen ble til før 1894 og var eid av . Senere kjøpte Hongkong-forretningsmannen Sir Robert Ho Tung huset (1918), og han bodde der mellom 1941 og 1945. Han døde i 1955, men hadde bestemt at huset skulle omgjøres til offentlig bibliotek i sitt testamente.