下，而吏部尚书主典选任官员，就最具影响力，故此就废除五兵尚书，将吏部尚书增为二人，选了谢庄及顾觊之出任，以分薄吏部尚书的权力。后谢庄又转左卫将军，加给事中。大明五年（460年）又再当侍中，兼领前军将军。后又改领游击将军并加领本州大中正。随后又外任晋安王刘子勋的征虏长史、广陵太守、加冠军将军。接着又以冠军将军转任太宰长史。大明六年（461年）又再次出任吏部尚书，领国子博士，不过次年就因为公车令张奇一案所累而被免官。孝武帝时宠爱殷淑仪生的新安王刘子鸾，想为他交结有才能及名望的人，于是命谢庄当他的长史，兼临淮