银行总行大厦现址旁的旧香港大会堂同样设立了一所图书馆，由香港的英资集团出资创办，惟华人使用此图书馆是受到十分的限制。随着华人地位的提升，新大会堂的图书馆才争取到有现今平等的状况。香港中央图书馆于2001年成立前，大会堂公共图书馆是1962建立之香港公共图书馆的总部。大会堂公共图书馆成立初期藏书只有2万册，开馆后头一个月即发出1万张借书证，每人每次只可外借1本图书，而两个市政局时期的参考图书馆已经于2003下半年重组成为工商业图书馆，另5字楼为专门收藏香港及澳门基本法之基本法图书馆。现在藏书约有36万本。