光二十七年（1847年）升浙江督粮道、长芦盐运使。咸丰三年（1853年），太平军势如破竹，杨霈奉命带兵协同防堵，授直隶布政使，在胜保军营办事，加二品顶戴。同年任顺天府尹。次年驰往河南协同巡抚英桂办理防勦事宜，授湖北巡抚，兼署湖广总督。咸丰五年，陈玉成等率部西进，击溃杨霈所部清军万余人于广济。杨霈战败，是根本没见到太平军，“乱民一唿，而万众瓦解”。德安（今安陆），汉阳、汉口皆陷，西安将军扎拉芬战死，巡抚陶恩培以下，大半殉难，朝廷以“坐视不救”罪撤杨霈之职，以荆州将军官文接任。