Budynek biblioteki powstał w 1894 roku i był początkowo rezydencją Dony Caroliny Cunha. W 1918 roku posiadłość zakupił hongkoński biznesmen Sir Robert Ho Tung () i wykorzystywał ją jako miejsce odpoczynku w czasie swoich podróży do Makau. Robert Ho Tung przeniósł się do Makau w 1941 roku, po zajęciu Hongkongu przez Japończyków. Mieszkał w budynku do 1945 roku, do momentu zakończenia drugiej wojny chińsko-japońskiej. Robert Ho Tung zmarł w 1955 roku i zgodnie z jego wolą posiadłość przekazano rządowi Makau w celu otwarcia w budynku biblioteki publicznej. Bibliotekę Sir Roberta Ho Tunga otwarto oficjalnie w 1958 roku.