明治40年(1907年)頃から西園寺の健康状態は悪化し、しばしば弱音を漏らすようになった。