元々は「池中山盈満院正覚寺」という名称であったが、境内に榧の木が茂っており、火災から寺を守ったという逸話から、江戸時代より「榧寺(かやでら)」と呼ばれていた。