秉之接着获殷景仁请为领军司马，后又再到三吴任山阴县令，由于山阴县人口多，事务繁重，要处理的诉讼纠纷往往多得办公府庭常常有数百人聚集待决，江秉之却以简便之法去应对，减省了很多工作量。有宋一朝就唯有他和顾觊之能这样。因为他在地方治理有方，故先后调为新安太守及临海太守，都以简约政风而闻名。元嘉十七年（440年）去世，享年六十。江秉之历年为官的俸禄都分给了亲戚故友，妻儿生活却很贫困，有人曾劝他经营田产，但秉之却板起面说：「食禄之家，岂可与农人竞利。」拒绝与民争利。