享保16年(1731年)、紀州藩主徳川宗直の四男として生まれる。