元谦的父亲元赞，系北魏孝文帝第五子广平武穆王元怀之孙，广平文懿王元悌之子，袭封广平王，534年随北魏孝武帝进入关中