세키가하라 전투
1600년 세키가하라 전투 때 조카 마사나리는 동군에, 아들 가즈나리는 서군에 참여시키고 자신은 병을 핑계로 거성에 틀어박혔다. 전투의 결과 이시다 일파가 숙청된 뒤 가즈요시는 교토에 은거하다가 1617년 사망했다.