武成（559年—560年）初年，封谯国公，食邑万户。天和年间，拜大将军，曾任宁州刺史、宁州总管、同州刺史，迁柱国，为益州总管。建德三年（574年），进爵为谯王。五年（576年），东伐北齐，宇文俭以本官为左一军总管，攻克永固城，进平并州、邺城，拜大冢宰。稽胡反周，宇文俭为行军总管，与齐王宇文宪讨平。有自号天柱的胡人，据守河东，宇文俭攻破，斩首三千级。宣政元年（578年）二月，在洛阳去世。诏赠使持节、上柱国、大冢宰，并、晋、朔、燕、幽、青、齐、冀、赵、沧、瀛、恒、潞、洺、贝十五州刺史。三月葬于雍州泾阳县