到日本执行特殊任务，未办签证。机上工作人员要他下飞机，他坚决不下，并与工作人员发生激烈争吵。蒋介石判断汤恩伯想逃往日本，于是下令阻止。几名军警接到命令后，强行将汤恩伯拉下了飞机。1953年，汤任驻日本军事代表团团长，但数月后被免职，后经友人协助，迁居东京。1954年，于日本庆应义塾大学医院治疗胃疾时併发症逝世，享年54岁。