。隋朝越国公杨素之从叔祖。父杨钧，曾任过北魏荆齐恒雍华四州刺史，追赠临贞县开国伯。杨俭是杨钧第三子，21岁时丧母，30岁（524年）时丧父。北魏孝明帝孝昌年间（525—527年），开始担任奉朝请，领侍御史。不久即转任员外散骑侍郎，后迁镇远将军、顿丘太守。永安年间（528—530年），入为黄门侍郎。未几，除左将军、太府少卿。寻除散骑常侍、使持节都督颍州诸军事、颍州刺史。任满后回朝任征南将军、金紫光禄大夫。永熙年间，除使持节散骑常侍、都督雍州诸军事、卫将军、北雍州刺史。永熙三年（534年），皇帝西巡，除侍中、骠