布于卑南山台地、卑南溪东岸以及鹿野溪口北岸，由片岩、板岩、变质砂岩、变质基性火成岩、砂岩等组成，东侧以卑南山断层与利吉混同层接触；由于鲤鱼山地质与北侧猫山的差异，被认为与东岸的卑南山断层不同，而被认为是卑南山受海岸山脉与中央山脉挤压的过程中，向南延伸的沉积物。鲤鱼山因与卑南山台地擦撞，而产生向西南倾没的背斜状小丘；后北侧卑南山受海岸山脉推挤往内陆移动，而鲤鱼山则留在原地，因此成为孤立在沖积扇上的丘陵；西侧土质疏松，经常发生崩塌，而东侧岩块则较坚硬。由于四周无其他较高山峰，鲤鱼山于背岭观景台附近设有点号E