到胜浦城，继承胜浦正木氏的家督，但妻子与儿子为春等人均留在小田原。继承家督后，将名字正式改为赖忠。天正6年（1578年）里见义弘死后，爆发梅王丸与义赖间的家督之争，赖忠拥护义赖成为当主，不料引发大多喜正木氏的叛变，所幸赖忠与义赖起兵消灭。之后，赖忠迎娶里见义尧之女为继室。天正15年（1587年）与北条氏交渉后，于小田原作为人质的直连与为春回到上总。此时，原配嫁给北条家臣荫山氏广为妻，女儿于万成为氏广的养女。天正18年（1590年），丰臣秀吉开始小田原征伐，并将北条氏灭亡，之后秀吉命令德川家康移封至关东，