宋耀如、黄佐庭在内的社会贤达借博物院路的亚洲文会大楼创办上海基督教中国青年会。随后选址北苏州路的今上海邮政局大楼附近，同年，在哈同的帮助下，迁到南京路今上海市第一食品商店附近。1903年，会所搬到北京路江西路口。路义思随后又前往美国进行募捐，终于北京路四川路建立正式会所。到1920年代，随着入会人数增加，原有大楼不敷使用，故选址敏体尼荫路东侧，大世界游乐场以南的地区兴建新的会所。在1920年代以前，上海的大型建筑多为仿照西方古典主义的形式，此后中国建筑师逐渐探索西洋建筑与中国元素的融合。因此，1920年