自清代、日本时代使用至今，不少建物为历史建筑甚至古蹟，兴建公园时虽强调完整保留，但实际上保留数目稀少，尤其位于卫武营艺术文化中心之十字楼曾被高雄县古蹟审查委员指定为古蹟，但高雄县府以其破旧不堪、形同危楼为由而要拆除，因此引发争议，最后十字楼拆解后，送至树德科大重组。