后来在内部文件中指出，虽然李子方等再没有通敌的嫌疑，但如果重新委任他们到行政局或立法局供职，将有可能引起很大争议，结果李子方等绝大部份曾经与日治政府高调合作的政商界人物，在战后一律都不再为港府叙用。事实上，李子方在战时除了被指摘与日方合作，又要兼顾东亚银行的业务，使他承受很大的压力，因此战后即以健康关系淡出政坛，但仍继续担任东亚银行经理，为重整东亚业务四出奔走。在长年承受沉重压力的情况下，李子方还在1948年证实患上心脏病，需要多次前往美国养病，身体状况大不如前。在1953年3月，李子方与家人前