失势罢官.同月，金朝遣使诣宣抚司，索要宋朝使者赵良嗣先前答应的粮食二十万石。谭稹回答：“二十万石不易致，良嗣所许，岂足凭也！”于是不给。西夏在金朝指使下举兵侵犯武州、朔州二州地界，谭稹派遣李嗣本抵御，数次交兵后，夏人未退，而金国怨宋朝廷招降金国南京留守张觉归顺、谭稹不给粮食，于是八月攻打蔚州，杀守臣陈翊，攻陷飞狐、灵丘两县，赶走应州守臣苏京等，断绝山后交割意。章綡写了数千字的燕云不可守之状，催促谭稹上奏，谭稹惊道其出不祥之言，章綡说两害相权取其轻，数日后谭稹不得已选择其中一二上奏。朝廷收到金朝牒文，问责谭