Tên gọi này xuất phát từ những thủy thủ đi tàu, khi họ từ biển khơi nhìn vào đèo Cả thì núi Đá Bia giống như hình ngón tay chỉ lên trời, và họ căn cứ vào Ngón tay của Chúa để định hướng cho tàu bè.