趣不同，彼此关系不密切。袁淑的表兄刘湛当时是义康的亲信，刘湛亦有意招揽袁淑到自己这边，可是袁淑并不愿意，就更令袁淑与义康一党人关系疏离，袁淑亦因而赋诗自况：「种兰忌当门，怀璧莫向楚。楚少别玉人，门非植兰所」最终他以久病而免去官职。袁淑接着先后当过衡阳王刘义季的右军主簿、临川王刘义庆的衞军谘议参军、司徒左西属、宣城太守、中书侍郎等职。后因守母丧而离职，丧期完后当太子中庶子。元嘉二十六年（449年）转尚书吏部郎，同年宋文帝发动北伐，袁淑外任始兴王刘濬的征北长史、南东海太守。随后还任御史中丞。后来又改任太子左