長兄の源之助、四兄の整三郎は夭折、次兄の慶恕は尾張徳川家を、三兄の武成は浜田松平家を継いだため、この4人の兄に代わって、嘉永2年（1849年）8月16日、父・義建の嫡子となる。
大哥源之助、四哥整三郎夭折，二哥庆恕过继尾张德川家，三哥武成过继越智松平家，所以取代这4位哥哥，而于嘉永二年（1849年）8月16日成为父亲义建的嫡子。