天文20年（1551年诞生。父亲时忠为安房国里见氏的家臣。起初仕于安房正木氏的嫡流大多喜正木氏的正木时茂，并跟随进攻东上总，任职胜浦城代，称为胜浦正木氏。时茂死后，大多喜正木氏的势力衰退，时忠于是打算自里见氏独立，永禄7年（1564年）正式自里见氏投靠北条氏康，并将五男赖忠送至小田原城成为人质。赖忠于小田原与北条氏隆之女结婚，育有直连、为春、于万（养珠院）等子女。天正年间初，时忠之兄时通自北条氏背叛，再度归属里见氏，赖忠由于与北条氏的姻亲关系免于被杀害，但日常生活受到严密的监视。天正3年（1575年）兄