矢野五右卫门家里藏匿。但领地被家康没收，继承秀家领地的正是小早川秀秋。秀家不久再变装潜逃到岛津氏的领地萨摩国牛根乡，于1604年为幕府所获。幸赖岛津家久和前田利长为秀家求情，免除了死刑，暂时软禁于骏河国久能山。庆长11年（1606年），秀家被幕府流放到八丈岛，而豪姬也因此返回娘家前田家。在豪姬娘家加贺前田氏及宇喜多旧臣的支援下（前田家每两年提供白米70俵和金子35两），平安地在八丈岛渡过了50年余生。原本在元和2年（1616年）时，前田利常欲协助秀家恢复大名之身，并从前田家分出十万石的领地，但因秀家不愿背弃