事实上，李子方在战时除了被指摘与日方合作，又要兼顾东亚银行的业务，使他承受很大的压力，因此战后即以健康关系淡出政坛，但仍继续担任东亚银行经理，为重整东亚业务四出奔走。在长年承受沉重压力的情况下，李子方还在1948年证实患上心脏病，需要多次前往美国养病，身体状况大不如前。在1953年3月，李子方与家人前赴美国，除了专心养病以外，还顺道探望在当地留学的三名女儿。然而，李子方却在1953年9月5日突然于内华达州小镇温尼马卡因病逝世，终年仅61岁。身后他的遗体由美国经海路在同年10月13日清晨运返香港，