为此政府拆除了龟山一带的北门段城垣，并将大小龟山分开（风水上说是将神龟的颈部切断）。后来随着军事南进政策的推展，昭和十三年（1938年）日军将左营港（原名「万丹仔港」）建为军港，且在后劲设第六海军炼油厂。为了保护左营军港，居制高点位置的旧城及龟山，于昭和十五年（1940年）时被画为军区，将旧城内的左营庄役所、寺庙、旧城教会，及居民五十余户，全部强制迁出，导致城内文物荡然无存。当时桃子园与旧城西门的居民，被迁到旧城南边的新庄仔。二次大战后，延续着日本的军区规划，中华民国海军在民国36年（1947年）将