鸦片战争爆发，英军攻佔大沽砲台，进军天津。中英签订《天津条约》。因钦差大臣僧格林沁参劾，谭廷襄被革职遣戍军台。咸丰九年（1859年）以三品顶戴署陕西巡抚。时值英法联军进攻北京，款议未定，恭亲王奕䜣、文祥等奏请咸丰皇帝西巡，遭谭廷襄与陕甘总督乐斌上疏反对。咸丰十一年（1861年）授山东巡抚。山东诸郡县群盗蜂起，捻军自安徽入山东，幅军、长枪会、白莲教等同时反清。僧格林沁大军驻山东督剿，谭廷襄率兵出省协助，并督各郡县团练防剿。同治元年（1862年）兼署河东河道总督。同治三年（1864年）入为刑部左侍郎，历工部右侍