遮打花園嘅前身係香港木球會，人稱打波地。1851年興建，設有木球會會所同埋木球場。木球會租約喺1971年終結前，亦成為當時社會同埋傳媒嘅話題。喺1970年11月18號嘅《南華早報》，就引述咗皇后像廣場及大會堂建築師alanfitch嘅意見，佢認為嗰笪地係世界級藝術館同埋博物館嘅理想場地。