书斋内进为厅堂，两侧为房间，厅前入口设花眉挂落，厅后设神楼。西面原为厨房和用膳地方，后改为两层房舍，外墙改贴灰釉面砖。探花第原为西关大屋，占地面积约3800平方米，今已不存。其建于清代，因珍藏“东岳泰山碑”和“西岳华山庙碑”早期的拓本而闻名，还有陈澧篆书题写的“泰华楼”匾。书斋过去藏书10万卷（册），抗日战争时失散一部分，文化大革命期间部分书籍和字画又被抄走。1993年8月被公布为第四批广州市文物保护单位。2013年1月，荔枝湾揭盖复涌工程对泰华楼造成损坏，大量市民表示不满。