卑南文化遗物，可见早期便有人类居住于此，部分文物保存在龙凤佛堂中展示。清领时期光绪七年，卑南厅同知袁闻柝为纪念开发后山先贤烈士，创建昭忠祠。光绪十九年因台风毁坏，台东直隶州知州胡铁花于现址重建。日治时期昭和五年10月27日台东神社迁移至昭忠祠位址，祭祀开拓三神。中华民国领台后，于民国五十年时，将台东神社改建为忠烈祠，但仍保留一部分的神社架构，其前坡道也无更动。在戒严期间，鲤鱼山为军事重镇，设有碉堡、防空洞等设施，普通民众不得进入；解严后始开放，因位于市区且就在旧台东火车站旁，成为台东市的着名景点，龙凤佛