内，死亡证上记录是「死因不明」。杜泽文死后，南固台落入日本人手上，日军在船街设立慰安所，而建筑雅致的南固台被佔领作「贵宾厅」。当时在港九各地捉拿妇女充当慰安妇，供日兵洩慾。1945年日本投降后，大宅一直丢空。杜家于1988年把南固台以1600多万元售予合和实业。1970年代，合和实业有意发展湾仔南部，收购了南固台一带的地段，拟建 Mega Tower Hotel，但会保留大宅并融入发展。然而 Mega Tower Hotel 的兴建一直未能落实，所以大宅一直空置。2008年12月合和中心2期工程终于落实