惟谦在中书侍郎任上被授同中书门下平章事，为实质宰相。次年九月丁酉（初二日，707年10月2日），他罢相改任国子祭酒。关于他的记载到此为止。根据《旧唐书》之记载，于惟谦在罢相前已被封为东海郡公。由相关墓志铭、碑文及志文，可见于惟谦曾任金紫光禄大夫及拜同中书门下三品，但最迟在开元六年（718年）已去世，谥号宪，且其父于士俊生前亦封东海郡公，可能为袭爵（下文详）。
文献记载.唐林宝所着《元和姓纂》记载：“【江陵】状称定国之后，自东海徙焉。唐延州刺史子俊（士俊），生惟谦，兵部侍郎、平章事。