馆成立于1869年，设在当时刚落成的旧香港大会堂。当时的公共图书馆主要为英文藏书，中文藏书较少。1933年旧大会堂拆卸，图书馆服务因此终止。于香港日治时期，港日政府曾以香港大学图书馆的部份馆藏为基础，加上部份从日本购入的图书，成立了香港市民图书馆。日本投降后该馆解散，馆藏全由香港大学图书馆所继承。1962年新的香港大会堂落成，于其中成立了这间公共图书馆，为现今香港公共图书馆系统之始。当时的香港公共图书馆是由市政局管理。1965年首间位于九龙西的图书馆于窝打老道落成。1974年首间位于新界西的公共图书