来因在魏文帝命其在客人前吹笙鼓琴而面有难色，渐被文帝疏远，后又因其他缘故而被拘捕。文帝派人向杜夔学艺，杜夔认为其所学的是雅乐，以仕宦为本位，心中不满，因而被免职，不久后过世。据《三国志》记载，在杜夔死后，虽然仍有后来者能精通音乐，但已不能像杜夔般保存雅乐。