僚宰相白敏中的构陷，宣宗同意了马植的表文，三月，罢免卢商相位，出为鄂岳观察使，加检校兵部尚书。任上，辟卢肇为从事。朱庆余、刘得仁都曾作《赠江夏卢使君》诗，都收录于《全唐诗》，疑即赠卢商之诗。大中三年（849年），卢商因病罢官。四年（850年），转荆南节度使，辟署原湘中观察支使高瀚为节度判官，五年（851年）因病上表求代，以太子少傅致仕。十三年（859年），宣宗征召他回长安拜户部尚书。八月，他未及到长安，就在汉阴驿去世。赠太尉。