后来曹丕代汉称帝，杨俊再任南阳太守。此时散骑常侍王象向曹丕推荐杨俊，但杨俊没有得到重用。起初，曹操还未决定继任人，而杨俊与曹植交好，曹操询问杨俊意见时，杨俊虽然称曹丕和曹植都各有所长，不相伯仲，但还是称颂曹植。言论被曹丕知道后，曹丕经常因而怨恨杨俊。黄初三年（222年），曹丕车驾驾临宛城，以城中不繁盛为由大怒，将时任南阳太守的杨俊收监。即使尚书仆射司马懿、散骑常侍王象和荀纬都为杨俊说情，叩头叩至流血，但曹丕十分坚定，不饶恕杨俊，杨俊知道后说：「吾知罪矣。」于是自杀。人们都为他的下场感到痛心。