Para 1661 su fama había crecido, y fue de nuevo vigilado por el shogunato, finalmente siendo expulsado de Kioto por Makino Chikashige, ayudante del líder del Shoshidai de Kioto (京都所司代).