后，赖忠迎娶里见义尧之女为继室。天正15年（1587年）与北条氏交渉后，于小田原作为人质的直连与为春回到上总。此时，原配嫁给北条家臣荫山氏广为妻，女儿于万成为氏广的养女。天正18年（1590年），丰臣秀吉开始小田原征伐，并将北条氏灭亡，之后秀吉命令德川家康移封至关东，里见氏因此失去上总国，胜浦正木氏也跟着舍弃上总国的领地，前往安房国。赖忠于天正20年（1592年）剃发出家，法号日啸（日正）。女儿于万成为家康的侧室。庆长3年（1598年），家康打算将赖忠招为家臣，但赖忠本人拒绝，而由次男为春仕于家康。庆长