（459年）任刘子尚的抚军长史，又转任太子中庶子领左军将军。大明四年（460年）出补豫章太守，增秩为中二千石。大明五年（461年）再度担任侍中，领长水校尉，后转左衞将军，加给事中。大明七年（463年）转任吏部尚书，仍兼左衞将军，但同年袁粲就因在庆祝皇太子冠礼的宴会中侮辱颜师伯而触怒孝武帝，被贬出为海陵太守。大明八年（464年），孝武帝去世，皇太子即位，是为宋前废帝，及后复袁粲为吏部尚书。永光元年（465年）转任右衞将军，加给事中。后再入为侍中，领骁骑将军。当年年末，前废帝被杀，宋明帝即位，转袁粲为司徒左