右勋曹中大夫。不久领右忠义。杨坚为丞相，加于玺为上开府。杨坚建立隋朝，于玺进位大将军，拜为汴州刺史，很有才能之名。隋文帝杨坚听说后认为他很好，特地下诏褒扬，赐给他丝帛百匹。不久加上大将军，进爵郡公。转任邵州刺史，在邵州几年，对百姓有恩惠。后来检校江陵总管，邵州人张愿等数十人，到京城上表，请留下于玺。文帝赞叹很久，令他回到邵州，父老相贺。不久转任洛州刺史，再为熊州刺史，也有好的政绩。因病征还京师。仁寿末年，在家中去世，谥号静。有子于志本。