受到严密的监视。天正3年（1575年）兄长时通猝死，天正4年（1576年）父亲也死去。时长（赖忠）于天正6年（1578年）前后回到胜浦城，继承胜浦正木氏的家督，但妻子与儿子为春等人均留在小田原。继承家督后，将名字正式改为赖忠。天正6年（1578年）里见义弘死后，爆发梅王丸与义赖间的家督之争，赖忠拥护义赖成为当主，不料引发大多喜正木氏的叛变，所幸赖忠与义赖起兵消灭。之后，赖忠迎娶里见义尧之女为继室。天正15年（1587年）与北条氏交渉后，于小田原作为人质的直连与为春回到上总。此时，原配嫁给北条家臣荫山氏广