淹任职祕书监兼卫尉，谓人曰：「此非吾任，路人所知，正取吾空名耳。且天时人事，寻当翻覆。孔子曰：『有文事者必有武备。』临事图之，何忧之有？」永元三年（501年），东昏侯杀害平乱功臣萧懿，导致萧懿之弟萧衍发兵攻打建康，拥立新主齐和帝萧宝融 。此年江淹调迁吏部尚书。后来萧衍带兵至新林（今江苏省南京市西南），缙绅官僚并不看好萧衍，人人毫不在意，而江淹早已料到即将改朝换代，所以脱去官服，秘密投奔萧衍。萧衍授以冠军将军、祕书监之职，不久兼职司徒左长史。南朝梁天监元年（502年）萧衍逼迫齐和帝让位，建立梁朝。江淹