天文16年（1547年）1月11日改名为赖忠。永禄7年（1564年）7月19日，在武田氏侵攻飞驒之际，受信玄要求而祈祷。在永禄8年（1565年）12月和永禄9年（1566年）再兴诹访大社上社和末社的祭礼。天正6年（1578年）、天正7年（1579年），武田胜赖进行诹访大社的造营，頼忠亦有协助。天正10年（1582年），织田信长发动甲州征伐，武田氏灭亡，兄长在此战中战死。同年6月，信长在本能寺之变中死去后，驱逐河尻秀隆的郡代弓削重藏，并进入信浓高岛城，继承诹访氏的家督，并与在此时侵攻信浓的德川家康对抗，接