龟元年12月23日（1571年1月18日）出生，家中长男。元龟元年（1577年），以6岁之龄受父亲赖忠让予诹访大社大祝之职。天正18年（1590年），与父亲一同在小田原征伐中从军。此后因为主家德川氏移封至关东地方，赖忠父子离开诹访并随之移至关东，被赐予武藏国奈良梨。后来移封至上野国总社，同年受父亲让予家督。庆长5年（1600年），在关原之战中跟随德川秀忠军，被任命守备信浓国和上野国，因为这次功绩，在战后的庆长6年（1601年）10月被赐予信浓国高岛2万7千石，被允许复归。庆长19年（1614年），在大坂