后，在小牧、长久手之战中守在义冬的居城松岛城，降于丰臣秀吉并成为秀吉的家臣。在秀吉政权下与足利义昭和山名丰国一同成为御伽众，当初在外交方面活跃，为处理东北的斯波家（大崎氏、最上氏等）当主和伊达政宗等大名折冲。但是在小田原之役后，他希望赦免后北条氏的北条氏直而惹怒了秀吉并失势。后来被赦免，但没有回复原有的政治影响力。天正17年（1589年）3月，与细川信良和尾藤知信一同被卷入在聚乐第发生的涂污书物事件而一时间被捕缚。庆长5年（1600年）逝世。法名是卫阳院殿庞山蕴公大居士。在万治元年（1658年）时于妙心