之後佢嘅身體越嚟越差，而且病情仲冇好轉，所以響1904年廢除佢伏見宮未來繼承人一位，轉為由本身已經繼承華頂宮嘅博恭王返嚟做伏見宮未來繼承人（仲有，另一個嫡子昭德王早死）。