后，高明遂辞官，之后还做了几年的地方官。至正十六年（1356年）以后，归隐在宁波南乡的栎社，“以词曲自娱”。《琵琶记》就是在这时完成的。至正十九年（1359）去世。高明擅长书法、诗、词曲，着有《柔克斋集》、《琵琶记》。其中《柔克斋集》二十卷已亡佚，顾嗣立《元诗选》录其诗三十七题四十五首，仍题《柔克斋集》。《琵琶记》号称为南曲正宗，为最早流传海外之传奇。