同年8月に豊臣秀次が失脚すると、秀次の軟禁と監視役を命ぜられ、更に高野山への秀次の護送役を務めるが、高野山に着いた後に吉隆自身も秀次の謀反の一味であったとされて、突如改易。
同年8月，在丰臣秀次失势后，被任命为秀次的软禁和监视役，更负责护送秀次前往高野山，但是在到达高野山后，自身亦被当作是秀次谋反的同谋，突然被改易，被流放到萨摩国坊津，被岛津义弘软禁。