后来改封广都县公。北周建国，累进安武太守。郡民张善安、王叔儿为争财产诉讼，于义说「太守德薄，这是自己不能胜任的原因，不能怪罪你们」，取自己的家财加倍给他们，让他们不要谕争讼。张善安感到羞耻，搬家到别的州去。他通过这些行为纠正民心。于义进封建平郡公。北周周明帝、周武帝时，历任西兖州、瓜州、邵州刺史。跟随征战，进位开府仪同三司。周宣帝即位，政治日益混乱，于义上疏劝谏。宣帝见到于义的上表，说：「于义诽谤朝廷」。御正大夫颜之仪进言：「上古贤王立诽谤之木，置敢谏之鼓，尚且担心听不到意见。于义之言，不该治罪」，宣帝