改《中华民国临时约法》中关于大总统颁布命令须经内阁副署的规定，唐绍仪愤而辞职，徐谦也和其他同盟会阁员一道辞职。同年8月，国民共进会与同盟会、国民公党及其他几个团体联合成立国民党，徐谦当选为国民党本部参议。民国二年（1913年）3月20日，国民党领袖宋教仁遇刺。同年4月27日，徐谦在《民权报》发表名文《布告国民》，号召国民武装反对大总统袁世凯。二次革命失败后，徐谦避居上海，执律师业，并卖字。其间，一些基督徒朋友劝其入教，徐谦答：“若你们有个好上帝，就不该容许袁世凯这种人活在世上。若袁世凯马上死去，我必入教