時茂の死後、大多喜正木氏の勢力が弱まると、時忠は里見氏からの自立を目論み、永禄7年（1564年）に里見氏を裏切って北条氏康に属し、五男の頼忠は人質として12歳で小田原城に送られた。
时茂死后，大多喜正木氏的势力衰退，时忠于是打算自里见氏独立，永禄7年（1564年）正式自里见氏投靠北条氏康，并将五男赖忠送至小田原城成为人质。