以6岁之龄受父亲赖忠让予诹访大社大祝之职。天正18年（1590年），与父亲一同在小田原征伐中从军。此后因为主家德川氏移封至关东地方，赖忠父子离开诹访并随之移至关东，被赐予武藏国奈良梨。后来移封至上野国总社，同年受父亲让予家督。庆长5年（1600年），在关原之战中跟随德川秀忠军，被任命守备信浓国和上野国，因为这次功绩，在战后的庆长6年（1601年）10月被赐予信浓国高岛2万7千石，被允许复归。庆长19年（1614年），在大坂之阵中被任命守备甲府城，长男忠赖率军出阵。因为在冬之阵时被命令留守在城中等，因此在