租界内，当时称为图书总会。1851年，英侨设立了俗称“洋文书院”的上海图书馆，该图书馆于1913年后更名为工部局公共图书馆。此外，西方体育活动也随着外侨一同进入上海。1850年，上海跑马总会于界路以西成立，此后10年逐渐出现板球、高尔夫球、草地滚球、网球及足球总会等社团出现。1860年，第二跑马场建立。两年后，通过出售第二跑马场，在泥城桥以西建立第三跑马场，即今上海人民广场及人民公园。