兖州、瓜州、邵州刺史。跟随征战，进位开府仪同三司。周宣帝即位，政治日益混乱，于义上疏劝谏。宣帝见到于义的上表，说：「于义诽谤朝廷」。御正大夫颜之仪进言：「上古贤王立诽谤之木，置敢谏之鼓，尚且担心听不到意见。于义之言，不该治罪」，宣帝采纳。杨坚担任丞相，王谦之乱爆发，杨坚谘问高颎谁可以担任将军。高颎回答：「于义有经验谋略，可以担任元帅」。杨坚开始认可了。刘昉进言「梁睿地位声望很高，不能置于于义之下」。杨坚于是作罢。任命梁睿为元帅，于义为行军总管。王谦部将达奚惎率兵占据开远，于义率左军将他击破。拜任潼州