村名は、鎌倉時代に王禅寺で発見されたと伝えられる柿の品種「禅寺丸柿(ぜんじまるがき)」の原産地であることに由来する。