建筑坐西面东，平面呈山字形，楼后使用回廊相连，钢筋混凝土结构。建筑分为两层（当时亦考虑便于随时增筑），上层最初为书库六间，书架为木质，下层最初为阅览室、展览室等共十六间，正中的大阅览室可容纳400人。东立面呈五段式划分，稍突出南、北两端和中间部分，中部女儿墙为叠落状马头墙处理，正中为由傅增湘题写的“奎虚书藏”四字，南、北两端的女儿墙亦采用相似的手法，与中间部分取得了唿应。