松平赖恕是常陆水户藩主德川治纪的第二子，德川齐昭的哥哥