在爱俪园病故，留下高达一亿七千二百万元或$150,000,000的巨额遗产，仅罗迦陵缴纳的遗产税就达1800万元。1941年罗迦陵也去世，但因夫妇二人留下的遗嘱有很大出入，引发旷日持久的哈同遗产案。1954年，新政府征用了爱俪园，建造中苏友好大厦（今上海展览中心）。