拜任潼州总管，受上柱国之位。其兄于翼为太尉，其弟于智、兄子于仲文为上柱国，于氏被称为贵戚。一年之后，于义因病免职，回到长安。开皇三年四月己巳（583年4月28日），以五十岁的寿命去世。追赠豫州刺史之位，谥号刚。其子于宣道、于宣敏都很知名，于宣道的儿子是唐太宗的十八学士之一于志宁。