Während 1592 die Invasion von Korea vorbereitet wurde, gab er seinen Hofrang auf, dann begab er sich gegen den Wunsch des Kaisers ins Feldlager, wurde jedoch auf Befehl Hideyoshis wieder nach Kioto eskortiert (zurück 7/26). Er gab sein Vorhaben, in den Krieg zu ziehen, nicht auf und reiste (12/14) nach Kyushu, nur um erneut zurückgesandt zu werden. Ein dritter Versuch im folgenden Jahr endete damit, dass er nach "Bōnotsu" (heute Teil Kasedas) verbannt wurde, als einer Gründe galt dieses „für einen Höfling unangemessenes Verhalten.“ Während dieser Zeit bezeichnete er sich als "Oka Sahyōe". Ebenfalls 1594 starb sein neugeborener Sohn. Anfang des nächsten Jahres wurde ihm gestattet, sich nach Kagoshima zu begeben, wo er mit den "Shimazu" in engen Kontakt trat. Seine Unterstützung rettete dieser Familie 1601 den "Daimyō"-Status obwohl sie bei Sekigahara auf der Verliererseite gestanden hatten. Im Gegenzug erhielt er häufig finanzielle Unterstützung.