逃回萨摩，直友负责同岛津氏进行交涉。在岛津氏的邀请下，直友的弟弟直行出仕于岛津氏。1601年，获得大和国山边郡3000石领地，担任奏者番之职。后兼任丹波郡代，获5000石领地。1603年任伏见城番，翌年叙任骏河守，兼任伏见城町奉行。1610年接替大久保长安，担任大和郡山城番。1614年参加大坂之阵，同年以上使的身份前往长崎，与长崎奉行长谷川左兵卫一起破坏当地的基督教会。1616年，德川家康病逝，山口直友剃发出家，法号惠伦。1622年在伏见城死去。有二子一女，二子为直坚、直治，一女为板仓重昌正室。