行诹访大社的造营，頼忠亦有协助。天正10年（1582年），织田信长发动甲州征伐，武田氏灭亡，兄长在此战中战死。同年6月，信长在本能寺之变中死去后，驱逐河尻秀隆的郡代弓削重藏，并进入信浓高岛城，继承诹访氏的家督，并与在此时侵攻信浓的德川家康对抗，接近北条氏政以图再起（天正壬午之乱），不过在12月败于酒井忠次、小笠原信岭等家康派遣的信浓平定军，于是以和睦的形式臣服，翌年（1583年）3月，维持诹访郡的所领。天正18年（1590年），家康移至关东地方，在此时跟从，被赐予武藏比企郡奈良梨、儿玉郡蛭川、埼玉郡