Gọi là Đá Dựng có lẽ do vách đá dựng đứng, nhiều nơi đứng trên đỉnh không thấy được chân núi, bên trong núi có nhiều hang động và các loại thạch nhũ lấp lánh màu sắc đẹp tựa châu ngọc.