袁粲就因在庆祝皇太子冠礼的宴会中侮辱颜师伯而触怒孝武帝，被贬出为海陵太守。大明八年（464年），孝武帝去世，皇太子即位，是为宋前废帝，及后复袁粲为吏部尚书。永光元年（465年）转任右衞将军，加给事中。后再入为侍中，领骁骑将军。当年年末，前废帝被杀，宋明帝即位，转袁粲为司徒左长史，冠军将军，南东海太守。泰始二年（466年）转为领军将军，同年再转为中书令，领太子詹事。泰始三年（467年）迁任尚书仆射，加领吏部；五年（469年）再加中书令，再加领丹阳尹。泰始六年（470年）改任尚书右仆射，知东宫事。泰始七年（