王谦的祖父王龚在汉顺帝时期担任太尉；父亲王畅以执法严明著称，也曾担任司空