香港日治时期，美利楼被用作日本皇军宪兵总部，并且设有多座囚犯室及用作刑场，当中被杀者据称逾4,000人，堪称医院外死亡人数最多的建筑物。第二次世界大战结束后，美利楼曾经被多个香港政府部门作为办公室。1975年至1982年期间，美利楼成为了差饷物业估价署的总部。此外，因美利楼多次传闻「闹鬼」，1963年为此已经进行过一次法事，可是在里面工作的员工表示仍然受到「困扰」。政府再次在1974年安排进行法事，由当时运输署署长惠柳新（Brian Wilson）邀请了约70位和尚，花约两小时在内诵经及烧香。（来源？）