正木頼忠
その後、里見義堯の娘を後室として迎え、天正15年(1587年)には北条氏と交渉し、小田原で人質となっていた直連と為春を上総に呼び戻した。なお、前室は蔭山氏広の室となり、於万は氏広の養女として育てられたとされる。
天正18年(1590年)、豊臣秀吉の小田原征伐により北条氏が滅亡すると、秀吉の命令で徳川家康が関東に移封されたため、里見氏は上総国を失うことになり、勝浦正木氏も上総国の所領を捨てて安房国に去った。鴨川市内の成川には環斎屋敷と伝えられる館状の遺構が残っており、安房に退去した後に住した館跡とされる。
天正20年(1592年)に剃髪し、日嘯(日正)と号して法華経を寄進している。娘の於万が家康に見初められ側室として寵愛を受けるようになると、慶長3年(1598年)に家康より徳川氏への出仕を求められたが、頼忠は固辞し、代わりに次男の為春が出仕に応じている。また娘の於万が家康の側室となってからは、頼忠は里見氏から一門扱い(『里見分限帳』)という格別な待遇を与えられる。慶長8年(1603年)には長男の直連が松平忠吉(徳川家康の四男)の家臣となった。
文禄5年、里見義康とともに上洛する。その際「花洛(京都)東山大仏(京の大仏)在旅の刻」に買い求めたという「太平記」が現存しており、文芸面での教養・関心が窺える品である。
慶長17年(1612年)、大御所となっていた家康に駿府城で拝謁するが、なおも出仕は望まず、変わらず里見氏に仕えた(『徳川実紀』)。