子，因父之功累进骠骑大将军，开府仪同三司，在北周孝闵帝即位后进封右小武伯。562年封武威郡公。564年、父王雄从晋公宇文护东征战死、王谦任柱国大将军、嗣庸国公之爵位。576年、从皇太子宇文赟下讨吐谷浑有功。随北周武帝东征北齐，奋战，进上柱国。577年、封益州总管，管十八州诸军事。580年，北周丞相杨坚专权，尉迟迥举兵反叛，王谦也响应。所管益、潼、新、始、龙、邛、青、泸、戎、宁、汶、陵、遂、合、楚、资、眉、普18州与嘉、渝、临、渠、蓬、隆、通、兴、武、庸10州之人也多从之。总管长史乙弗虔与益州刺史达奚惎劝