没有胡须，因此刘备对这件事耿耿于怀。后来在刘备平定益州时，他亦改投靠刘备，并担任益州的后部司马。刘备攻汉中之前，张裕说会出师不利，之后在一定程度上符合了其预期，以致于刘备记恨张裕。某天，张裕私下对人说：「庚子年间（220年）会改朝换代；壬寅（222年）到癸卯（223年），刘氏运气将会消尽。」这些话传入刘备耳中。刘备不满张裕散佈谣言，借口张裕劝谏汉中一事没有应验，把他关入狱中。诸葛亮请求刘备宽恕他，但刘备说：「芳香的兰花长在门前，必须除去。」于是杀了张裕，弃尸于街头。后来曹魏立国、刘备之死都和张裕预测的时间吻