。少时为人端正，年十八，解褐员外散骑侍郎，寻授轻车将军、羽林监，追随尔朱天光击破陇右，赐爵索虏侯。后在夏州任宇文泰的录事参军事，贺拔岳被杀后，随宇文泰前往平凉接手，为其参谋划策，平定侯莫陈悦，留俭为秦州长史、防城大都督，委以后事，别封信都县伯。渭州刺史可朱浑元投奔东魏，李弼令长孙俭暂时镇守渭州。后转任夏州刺史，大统元年（535年）招降东魏西夏州刺史许和，遂授持节、西夏州刺史，加散骑常侍，总统三夏州诸军事。大统五年（539年），迁使持节、镇东将军、都督东北三夏州诸军事、西夏州刺史，增邑千户，改伯为公。大统