间、大厅三间和后楼三间两层，大厅即敕五堂，堂名为清代上虞籍状元梁国治所题，以纪念胡氏先祖、宋朝大儒胡安国因坚持抗金复国五辞敕封，“文革”前被拆毁，近年重建，东西两侧有厢楼各前后两进，前进十间一弄，后进九间，中为跨院，呈“走马楼”格局，西北角“后咫园”为胡愈之出生地。2014年11月修缮后作为纪念馆对外开放。