玉祥在北京创办今是学校。同时他还担任中国国民党中央政治委员会北京分会委员等职。在北京期间，徐谦与李大钊等中国共产党领导人建立了联系，李大钊时任中国国民党中央执行委员，并负责中国国民党北京执行部的工作。徐谦在李大钊的领导下，参加了1925年国民会议运动及五卅运动。民国十四年（1925年）3月，孙中山在北京病逝。同年7月，广州国民政府成立，徐谦被中国国民党中央执行委员会选为国民政府委员、惩吏院委员，兼管司法行政。民国十五年（1926年）1月，中国国民党第二次全国代表大会在广州召开，徐谦当选为中央执行委员会委