中山被迫离开广州赴上海，临行前委徐谦为代表，参加护法军政府政务会议。后来徐谦被桂系军阀控制的护法军政府任命为司法部长。民国八年（1919年）1月，徐谦离开广州赴上海会晤孙中山，时值巴黎和会举行前夕，孙中山派徐谦、陈友仁作为南方代表顾问出席巴黎和会。在巴黎，徐谦等人反对巴黎和会对山东问题的处理，并反对中国在和约上签字。徐谦回国后，因为不满岑春煊把持护法军政府，便没回广州而去了天津，担任天主教的《益世报》总编辑。民国九年（1920年）7月，直皖战争爆发前夕，北京政府十六混成旅旅长兼湘西镇守使冯玉祥率部自