十六年（449年）复以征虏将军、丹杨尹领太子詹事。次年（450年）支持文帝北伐，并受命诘难反对的沈庆之，但至年末宋军却被北魏反攻至瓜步，威胁建康，湛之领兵置佐，与太子刘劭共守石头。后转尚书仆射，领护军将军，因其受文帝重用，又是公主之子，时任尚书令的何尚之也将政事都交给湛之掌管，湛之遂与吏部尚书江湛同居要位，被时人并称为「江徐」。徐湛之得文帝的信任，而文帝每次患病湛之亦会入宫侍候。后来刘劭被揭图以巫蛊加害文帝，终令文帝生了废太子的打算，徐湛之支持女婿刘诞登位，只是文帝久久都不能下决定。时文帝经常与徐湛之单