正面有仿造中国古代建筑结构的数根巨柱与斗拱结构，玻璃采用特质的双层隔音玻璃，可以有效阻隔来自淮海路的噪音。图书馆内部拥有各类阅览室33个，展览厅2个，学术研讨室4个，音乐欣赏室1个，影视欣赏厅1个。
徐家汇藏书楼.上海图书馆徐家汇藏书楼也藏有部分馆藏西洋善本。藏书楼长期以来不对外开放，读者需凭单位介绍信才能进入查阅资料；因几十年来管理维护不善，曾出现地下室进水、地基下陷等严重建筑问题，1990年代徐家汇地区建设地铁站时，市政府曾考虑拆除该楼，后经巴金等知识分子联名唿吁才得以保留，并