园旧有聚落在日治时期因辟建军港与军事设施而被迫迁村。二次大战后则成为军事管制区，以及军营进一步扩建的地点。1920年时实施州厅制，桃子园为高雄州高雄郡左营庄下辖的大字，1924年高雄郡废郡，左营庄改冈山郡所辖，1932年与左营庄前峰尾一起併入高雄州高雄市。1933年时，桃子园有人口2062人。1945年日本战败，国民政府将高雄市改为台湾省高雄市，桃子园初时为左营区所辖，后改鼓山区所辖至今，现今属于鼓山区桃源里的北侧一带（桃源里南侧则属日治时期寿町西侧）。