超越同僚的待遇不感欣喜，反而自惭。每当与众臣游乐时毛见有诏传来，智渊就知皇帝在叫自己，立即感到惭愧，连旁人也能看到出，当时议论者就以此称赞他。智渊后转骁骑将军，尚书吏部郎。孝武帝沉迷宴乐，酒醉后更常常戏辱群臣，不过智渊对此并不认同。孝武帝曾经命智渊以王彧父王僧朗嘲弄王彧，但智渊就板起面说：「恐不宜有此戏。」这就惹怒了孝武帝：「江僧安痴人，痴人自相惜。」智渊于是伏地哭泣，自此以后恩宠亦大减。后智渊外任新安王刘子鸾的北中郎长史、南东海太守，加宁朔将军，行南徐州事。大明六年（462年），孝武帝宠姬殷淑仪去