逍遥公房，祖上向南迁徙客居襄阳，后来又迁徙到郑州阳武。韦思谦中进士，得补授幽州昌平县尉，被燕王府长史杜楚克推荐任为安州应城县令。任满后，他面临决定他是否能够升官的考核。负责考核的吏部起初因为他在公事上有过失，考绩名列最下等，对他评价不高，一直未予升迁。吏部尚书高季辅却说：“我接手吏部以来，只发现这么一个真正有才干的人，我怎么能够因为他有小过失而抛弃他的大德呢？”于是擢升韦思谦为监察御史，他也因此为世人所知名。任监察御史期间，韦思谦曾说：“如果御史离开都城（去查案），不能动摇山岳，震慑州县，那么他就不称职。”