斗全部有份参与。天正13年（1585年），在与忠次同为家康宿老的石川数正出奔后成为家康场的第一重臣，天正14年（1586年）10月24日成为家中最高位的从四位下左卫门督。天正16年（1588年）10月，把家督之位让给长男家次后隐居。但是之后在京都被丰臣秀吉赐予京都樱井的屋敷、侍女和在京费用1千石。之后出家号为「一智」天正18年（1590年）家康被移封至关东，因为忠次已经隐居，所以家次被封下总臼井3万石。庆长元年（1596年）10月28日在京都樱井屋敷死去。享年70岁。墓所在知恩院的塔头先求院。墓