鯉魚門公園及度假村前身是鯉魚門軍營，整個軍營的範圍原包括在軍營北面，沿著鯉魚門海岸修築的鯉魚門炮台及堡壘，軍營曾經在日軍入侵香港期間被攻佔，二次大戰後，港督葛量洪爵士於1948年2月公布英國國會決定縮減太平洋艦隊的規模，軍部亦不再視此軍營為防衛重地，只用作操練場。倫敦方面決定削減海外軍事開支，軍部亦同意進一步削減軍事用地，軍營最後於1986年停用，軍部將軍營轉交政府規劃發展。