唐肃亦呈一绝句，有「词臣不敢志归谏，却忆当年魏郑公」语。后来因为早朝无故缺席，坐免官，归乡里。朱元璋重才，再召入。有一日在朱元璋面前以横筷施礼，朱元璋痛斥这种俗人的礼节不能施于皇帝，说是“大不敬”，把他流放到濠州边境。不久病死。着有《丹崖集》。有子唐愚士。