Kazusa Province
天正18年（1590年），豐臣秀吉開始小田原征伐，並將北条氏滅亡，之後秀吉命令德川家康移封至關東，里見氏因此失去上總國，勝浦正木氏也跟著捨棄上總國的領地，前往安房國。賴忠於天正20年（1592年）剃髮出家，法號日嘯（日正）。女兒於万成為家康的側室。慶長3年（1598年），家康打算將賴忠招為家臣，但賴忠本人拒絕，而由次男為春仕於家康。慶長8年（1603年），長男直連也成為松平忠吉（德川家康的四男）的家臣。