政、氏直父子求情，于是触怒秀吉，在文禄3年（1594年）9月被改易。改易理由是在检地后，虽然令石高增加，但是没有增加税额。改易后，剃发并自号老犬斋，在京都的慈云院隐居。此后被赐予近江国内2万石，并成为秀吉的御伽众。庆长3年（1598年）6月，被赐予丹波国冰上郡柏原（现今兵库县丹波市柏原）3万6千石。庆长5年（1600年），在关原之战中加入西军，参与攻击丹后田边城等战事，不过在战后没有被德川家康问罪，所领受到保证。此后在大坂城辅助甥孙丰臣秀赖，庆长19年（1614年）7月17日，在大坂冬之阵前于大坂城