杜因为没有聘任广州市教育局督学胡伯孝指定的人员担任国文教员，转而聘用参加过五四运动的青年李朴，胡伯孝亦向省政府控告杜定友。4月，杜定友向广州市教育局提交辞呈，辞去市立师范学校校长职务。1923年5月，杜定友携家人离开广州抵达上海。6月获复旦大学校长李登辉聘请为教授，兼图书馆主任，其后代理教育系主任兼代庶务主任。1924年6月，杜定友与上海总商会图书馆馆长孙心磐召集上海图书馆界同仁商讨组织上海图书馆协会事宜。会议推举杜定友为临时主席，孙心磐为临时书记，并通过了《上海图书馆协会章程》。同年，杜定友创