「于义诽谤朝廷」。御正大夫颜之仪进言：「上古贤王立诽谤之木，置敢谏之鼓，尚且担心听不到意见。于义之言，不该治罪」，宣帝采纳。杨坚担任丞相，王谦之乱爆发，杨坚谘问高颎谁可以担任将军。高颎回答：「于义有经验谋略，可以担任元帅」。杨坚开始认可了。刘昉进言「梁睿地位声望很高，不能置于于义之下」。杨坚于是作罢。任命梁睿为元帅，于义为行军总管。王谦部将达奚惎率兵占据开远，于义率左军将他击破。拜任潼州总管，受上柱国之位。其兄于翼为太尉，其弟于智、兄子于仲文为上柱国，于氏被称为贵戚。一年之后，于义因病免职，回到长安。开