时，跟随齐王宇文宪在洛阳打败北齐军，以功赐爵丰宁县子，食邑五百户。再跟随周武帝平北齐，加开府，改封黎阳县公，食邑一千二百户，转任职方中大夫。周宣帝嗣位，转任右勋曹中大夫。不久领右忠义。杨坚为丞相，加于玺为上开府。杨坚建立隋朝，于玺进位大将军，拜为汴州刺史，很有才能之名。隋文帝杨坚听说后认为他很好，特地下诏褒扬，赐给他丝帛百匹。不久加上大将军，进爵郡公。转任邵州刺史，在邵州几年，对百姓有恩惠。后来检校江陵总管，邵州人张愿等数十人，到京城上表，请留下于玺。文帝赞叹很久，令他回到邵州，父老相贺。不久转任洛州刺