巡抚杨健的孙子。杨家花园营建于清光绪二年，又称“杨留馀堂”。杨家花园占地六七十亩，坐落于粟家码头，房舍共有五进，最后一进为两层楼房，围墙全长一百五十二公尺。湖南第三女子师范学校曾租用杨家花园一些民房办学。抗战期间，空军第一飞机修理厂便位于杨家花园内。衡阳保卫战后衡阳沦陷，杨氏家族四处逃难离开衡阳，杨家花园也在轰炸中被毁。1949年后，衡阳市政府接管了杨家花园，完全拆建，改为衡阳军分区后勤部营地。2000年左右，衡阳军分区招待所改建成杨家花园大酒店。
景观.萼园内有着“馀滋山房”