有竹枝、柳枝、桃花、杏花四妾，“皆能声乐”，当时有诗云：“竹枝柳枝桃杏花，吹弹歌舞拨琵琶。可怜一解杨夫子，变作江南散乐家”。他自己也会吹奏笛子，常与四人相和。此外，他还曾创作南曲《苏台吊古》，与顾坚、顾阿瑛、倪元镇交好，常在顾阿瑛的玉山草堂集会。。明洪武二年（1369年）明太祖召至京师，议订礼法。晚年有肺疾。后请归乡里，朱元璋命百官于京都西门外设宴欢送，洪武三年庚戌五月二十五日逝世。宋濂为他写《元故奉训大夫江西等处儒学提举杨君墓志铭》。着有《东维子文集》、《铁崖先生古乐府》等。有学生卢熊、宋禧、王璲、张