河南洛阳人，北魏北平王长孙嵩五世孙。
生平.其先世为拔拔氏（拓跋氏分支），北魏孝文帝迁都洛阳后，改鲜卑姓名为汉姓，遂改为长孙氏。少时为人端正，年十八，解褐员外散骑侍郎，寻授轻车将军、羽林监，追随尔朱天光击破陇右，赐爵索虏侯。后在夏州任宇文泰的录事参军事，贺拔岳被杀后，随宇文泰前往平凉接手，为其参谋划策，平定侯莫陈悦，留俭为秦州长史、防城大都督，委以后事，别封信都县伯。渭州刺史可朱浑元投奔东魏，李弼令长孙俭暂时镇守渭州。后转任夏州刺史，大统元年（535年）招降东魏西夏州刺史许和，遂授