铸入寿字图案，门旁两侧设有八角的八卦窗。正门立面使用竖线的竖向构图，二层设计伸出的阳台，栏杆使用中国式样，而阳台上方也用篆书刻出“亚洲文会”。整幢建筑为钢筋混凝土结构，自下往上共五层，中间部分高六层。底层最初设计为演讲厅，本名为伍连德讲堂，以纪念中华医学会的发起人伍连德。二楼最初作为图书馆，三层和四层作为博物院陈列室。