8年（1603年），长男直连也成为松平忠吉（德川家康的四男）的家臣。庆长17年（1612年），赖忠前往骏府城拜谒成为大御所的家康，家康再度要求招揽为家臣，但赖忠仍打算守护里见氏。里见氏没落后，投靠次男为春。元和5年（1619年），为春跟随于万之子（德川赖宣）移封纪伊，赖忠也跟着移居纪伊，并于该地渡过余生。元和8年（1622年）8月19日于纪伊去世。