徳川の治世が確固となった後はこの地も危うくなったので、親族の日出藩に身を寄せることにして、領内南端の豊後深江の浜に着船させ、日ノ出城に入ったとする。