喺英國殖民期間，咖啡山亦被叫做weldhill，得名自1880年至1887年間擔任海峽殖民地總督嘅sirfrederickweld。喺1867年至1874年嘅巴生內戰，呢度亦曾經係雪蘭莪蘇丹喺曼特寧氏族對峙時嘅堡壘山，依家仲保留住一條長大約5公尺嘅地底密道，見證咗當年內戰事蹟。