高颎谁可以担任将军。高颎回答：「于义有经验谋略，可以担任元帅」。杨坚开始认可了。刘昉进言「梁睿地位声望很高，不能置于于义之下」。杨坚于是作罢。任命梁睿为元帅，于义为行军总管。王谦部将达奚惎率兵占据开远，于义率左军将他击破。拜任潼州总管，受上柱国之位。其兄于翼为太尉，其弟于智、兄子于仲文为上柱国，于氏被称为贵戚。一年之后，于义因病免职，回到长安。开皇三年四月己巳（583年4月28日），以五十岁的寿命去世。追赠豫州刺史之位，谥号刚。其子于宣道、于宣敏都很知名，于宣道的儿子是唐太宗的十八学士之一于志宁。