年任顺天府尹。次年驰往河南协同巡抚英桂办理防勦事宜，授湖北巡抚，兼署湖广总督。咸丰五年，陈玉成等率部西进，击溃杨霈所部清军万余人于广济。杨霈战败，是根本没见到太平军，“乱民一唿，而万众瓦解”。德安（今安陆），汉阳、汉口皆陷，西安将军扎拉芬战死，巡抚陶恩培以下，大半殉难，朝廷以“坐视不救”罪撤杨霈之职，以荆州将军官文接任。