安堂总行迁到新加坡，由弟胡文豹留守仰光主管缅甸业务。1932年，胡文虎再将总行从新加坡迁移至香港。1937年胡氏永安堂在广州市的厂房落成，是胡文虎在中国大陆生产经销“虎标”万金油的主要场所，初建时是广州市第二高的楼宇。原永安堂厂房在今沿江路和长堤大马路交界处，现在是广州少年儿童图书馆。1941年12月25日，日军佔领香港，胡文虎被软禁于香港大酒店。胡文虎获释后，即出资救济滞港的香港大学南洋学生。1943年他以港商身份赴东京，曾向东条英机抗议香港总督部的施政，指証财政部长中西有三严重渎职贪污受贿。