華僑將領胡文虎喺1931年返到中國內地之後，搵咗海珠石附近嘅長堤地區起咗間樓做工廠，直到1937年起好。嗰時永安堂係廣州嘅第二高樓，亦係出虎標萬金油嘅主要場所。1949年10月，中國人民解放軍攻陷咗廣州之後霸咗永安堂做軍隊臨時支援場所。由於胡文虎俾中共話係「漢奸」而將永安堂當成「敵產」充公，變成廣東省總工會。直到1992年10月，廣東省人民政府決定將永安堂畀返胡文虎嘅女胡仙。1993年8月俾廣州市人民政府列為文物。1995年5月31號，胡仙將永安堂捐畀廣州市人民政府做少年兒童圖書館。