求减免多人的死刑，但大理卿马植反对，上表宣宗称如此宽容会适得其反，招致神灵越发不悦。因同僚宰相白敏中的构陷，宣宗同意了马植的表文，三月，罢免卢商相位，出为鄂岳观察使，加检校兵部尚书。任上，辟卢肇为从事。朱庆余、刘得仁都曾作《赠江夏卢使君》诗，都收录于《全唐诗》，疑即赠卢商之诗。大中三年（849年），卢商因病罢官。四年（850年），转荆南节度使，辟署原湘中观察支使高瀚为节度判官，五年（851年）因病上表求代，以太子少傅致仕。十三年（859年），宣宗征召他回长安拜户部尚书。八月，他未及到长安，就在汉阴驿去世