期任过尚书省考功员外郎、鸾台符玺郎（688年）、文昌右司郎中、给事中、司宾卿（699年），唐中宗神龙年间（706－707年）拜相，居相位1年又9个月。虽然于惟谦官拜宰相，他拜相前的仕途几无记载，作为宰相，在《旧唐书》《新唐书》中均无设传，甚至未被列入宰相世系表的于氏表。中宗神龙二年正月戊戌（十八日，706年2月10日），于惟谦在中书侍郎任上被授同中书门下平章事，为实质宰相。次年九月丁酉（初二日，707年10月2日），他罢相改任国子祭酒。关于他的记载到此为止。根据《旧唐书》之记载，于惟谦在罢相前已