仅仅因为是传统，我就要遵守呢？”垂拱元年（685年）二月，他被授同凤阁鸾台三品、兼知左台事，成为政事堂宰相。次年六月，代苏良嗣守纳言，封博昌县开国男。韦思谦以病辞官，不获准，诏肩舆上朝，许子孙侍候。三年（687年）三月，再上表告老致仕，获准，加太中大夫。永昌元年（689年）九月二十八日，韦思谦在洛阳承义里家中去世，年七十九。赠使持节幽州都督。唐德宗年间，韦思谦得以续图凌烟阁。