En 1485 Yoshimasa se convirtió en monje budista Zen y tras su muerte, en 1490, el edificio y los jardines adyacentes se convirtieron en un templo budista renombrado como "Jishō-ji," por el nombre budista de Yoshimasa.