以王彧父王僧朗嘲弄王彧，但智渊就板起面说：「恐不宜有此戏。」这就惹怒了孝武帝：「江僧安痴人，痴人自相惜。」智渊于是伏地哭泣，自此以后恩宠亦大减。后智渊外任新安王刘子鸾的北中郎长史、南东海太守，加宁朔将军，行南徐州事。大明六年（462年），孝武帝宠姬殷淑仪去世，群臣议谥时智渊就提议谥「怀」，孝武帝觉得这个谥号不够褒美之意，就以此记恨他。后来智渊等群臣随孝武出游南山，经过殷淑仪墓，孝武帝特别用马鞭指着墓中石柱，说：「此上不容有怀字。」明显批评江智渊。智渊听后惶恐不已，终在大明七年（463年）因忧惧而去世，享