古くは「比曽寺(ひそでら、比蘇寺)」と呼ばれ大規模な伽藍を構えていたが、現在の世尊寺は江戸時代に整備縮小して再興されたものである。