寺伝によると、1552年(天文21年)に神林郷の地頭・常和泉守(常澄氏)が「常泉寺」として建立し、慶長年間(1596年〜1615年)に瑞松寺第二世柏鷹正庭が開山した。