Yamigata est aussi un grand amateur de jardins. Il achète un terrain à proximité du jardin Nanzengi à Kyoto et fait des plans pour construire une villa et son jardin. Les travaux commencent en 1894 mais s'interrompent en 1895 lors de la guerre avec la Chine. Les travaux reprennent une fois le conflit fini, avec l'aide d'Ogawa Jihei, le fameux paysagiste qui a conçu les jardins du palais impérial de Kyoto voisin nouvellement reconstitué. En plus du jardin, il construit une maison de thé, une maison japonaise traditionnelle et une maison moderne de style occidental avec une pelouse à l'anglaise ajoutée en 1898.