袁世凯病逝后，黎元洪接任大总统。同年9月，徐谦任段祺瑞内阁司法部次长，并负有联络国会内国民党籍议员的秘密任务。民国六年（1917年）7月，孙中山发起护法运动，徐谦于7月南下广州，任护法军政府秘书长。民国七年（1918年）5月，桂系军阀操纵“非常国会”的政学系，迫使孙中山辞去大元帅职务，孙中山被迫离开广州赴上海，临行前委徐谦为代表，参加护法军政府政务会议。后来徐谦被桂系军阀控制的护法军政府任命为司法部长。民国八年（1919年）1月，徐谦离开广州赴上海会晤孙中山，时值巴黎和会举行前夕，孙中山派徐谦、陈友仁作