基督教青年会大楼之前的1898年，基督教青年会北美协会受上海地区传教士的邀请，委派路义思到沪开展上海青年会工作。两年后，在路义思的组织下，包括颜惠庆、宋耀如、黄佐庭在内的社会贤达借博物院路的亚洲文会大楼创办上海基督教中国青年会。随后选址北苏州路的今上海邮政局大楼附近，同年，在哈同的帮助下，迁到南京路今上海市第一食品商店附近。1903年，会所搬到北京路江西路口。路义思随后又前往美国进行募捐，终于北京路四川路建立正式会所。到1920年代，随着入会人数增加，原有大楼不敷使用，故选址敏体尼荫路东侧，大世界游乐场