翼为博物馆，中间部份为香港公共图书馆及休息室，西翼则为剧院；而上层则为大礼堂，常作舞厅之用。建筑物正门外建有由颠地洋行赞助的喷泉。旧香港大会堂是当时洋人上流社会的社交场所。不过，华人在使用旧香港大会堂时则受到很多限制，例如只能在指定时段进入图书馆。香港总督轩尼诗曾建议放宽对华人使用大会堂的限制，但引起洋商的强烈不满，原因是大会堂是由英商出资建造的，所以不应再增加华人使用权限，最后作罢。