责冯自由对其联俄容共政策的对抗态度，并警告党内，若有“再无端挑起是非，我们就将采取对冯自由一样的方法来对待他们。”这使冯倍感压力。冯自由乃离开广东赴上海。1924年冬，冯自由和章炳麟、田桐、居正、管鹏、但焘、焦子静、谢良牧、茅祖权、马君武、刘成禺、周震鳞等人，在上海敏体尼荫路（今西藏南路）裕福里2号的章炳麟家开会，商讨反对中国国民党联共改组，“号召同盟旧人，重行集合团体，以匡救危局”。由章炳麟撰稿并领衔发布，征集同志。通讯处设在章炳麟的住所。冯自由以“护党救国公函”作为该文件的标题。1925年孙中山