秉之初入仕为丹阳尹刘穆之的前军府参军，后任刘裕的徐州主簿，又转世子中军参军。永初元年（422年），刘裕篡晋，秉之依惯例任员外散骑侍郎，补太子詹事丞。永初三年（424年）宋少帝即位改任尚书都官郎，后外任永世县令及乌程县令，在三吴当地以良好的治绩而闻名。入为建康县令后亦以严厉苛察的治理方式整顿好这个京师重地。秉之接着获殷景仁请为领军司马，后又再到三吴任山阴县令，由于山阴县人口多，事务繁重，要处理的诉讼纠纷往往多得办公府庭常常有数百人聚集待决，江秉之却以简便之法去应对，减省了很多工作量。有宋一朝就唯有他和顾觊之能