男子のなかった頼徳ははじめ自身の弟である直堅(直治の三男)を養嗣子としていたが、直堅は頼徳が藩主となる直前の宝永2年(1705年)に早世している。