3代当主・徳川斉匡の次男として誕生。