Theo cư dân địa phương, sở dĩ gọi chùa Phật Lớn là vì chùa có tượng Phật to và còn để phân biệt với chùa Phật Nhỏ ở hướng đông gần chân núi.