（546年）宇文泰将他召回任大行台尚书，兼相府司马，并将他名字改为俭，字庆明。十三年加开府。十四年除尚书右仆射，加侍中，进骠骑大将军。大统十五年（549年），长孙俭再次被任命为东南道行台仆射，都督十五州诸军事，荆州刺史，十一月，与开府杨忠率兵击败梁柳仲礼，攻克随郡，将柳仲礼长史马岫包围于安陆。大统十六年春正月，柳仲礼率军来援安陆，杨忠、长孙俭与之战于漴头，大破之，柳仲礼被擒，马岫在安陆投降，长孙俭增加都督东南道三十六州诸军事。西魏恭帝元年（554年），与燕国公于谨等出兵江陵，攻下江陵后，由长孙俭镇守