586年），被赐予在京料山城西冈3千石。在天正13年（1585年）的纪州征伐、天正15年（1587年）的九州平定中亦以武将身份参战。而在梅北一揆之际，以上使身份前往萨摩国，进行岛津家藏入地的改革（萨摩御仕置）。因为这些功劳，在文禄4年（1595年）加增大隅国3千石（后来移封至越前府中に）。幽斋与千利休等人一同是秀吉侧近的文化人，得到相当宠遇。忠兴（三斋）亦对茶道有很深造诣，并成为利休的高弟之一。另一方面，与德川家康亦有亲交，在庆长3年（1598年）秀吉死去后，开始接近家康。庆长5年（1600年）6月，