1920年代，随着上海人口快速增长，上海高层公寓建筑逐渐兴起。1923年，法商万国储蓄会决定出资在霞飞路中段建造公寓大楼，延请法商赉安洋行设计，并于1930年建造完成。1937年抗日战争爆发，出于对于上海时局不稳的忧虑，大楼的相关业主决定抛售该楼。时任国民政府行政院长、财政部长的孔祥熙遂以低价购入。孔祥熙购入时，通常采用英文化名，直至1949年以后，上海进行房产清查时才公之于众。1949年以后，公寓底层曾开设云裳、霞飞、丽都等十多家经营时装的公司，1956年，公私合营开始后，将大楼底层建成上海市妇女用品商店