被宋武帝刘裕尊称为“黑槊公”，北魏明元帝因此特授他为黑槊将军，封新安侯。五代祖于洛拔，北魏太武帝时期侍中、尚书令，袭爵新安公。有六子：于烈、于果、于劲、于天恩等。高祖于天恩，官至内行长、辽西太守。赠平东将军、燕州刺史。曾祖于仁生，祖父于安定。父于子提，出使敕勒，以功征北将军、陇西太守、茂平县伯。北周保定二年，以子谨着勋，追赠太保、建平郡公。中华书局本《北史》校勘记据于谨的生年推算其曾祖于天恩不可能是于劲的弟弟，进而怀疑北史记载的可靠性，并推测北史的记载是据“于氏家传”。