中将之次女。此外，继承尾张德川家的德川义亲是其叔父。永芳自晓星中学毕业，1937年经海军机关学校于1944年官至正五位海军少佐。日本战败后，作为越南西贡的海军部部长完成了战后善后工作，于1946年率领47名部员回到日本。二战结束后，永芳加入了陆上自卫队，1964年他曾隶属于东京奥运会支援集团。然而罹患大病之后，再起为防卫研修所战史勤务。于1968年以一等陆佐的位阶退休。同年开始担任福井市立乡土历史博物馆馆长。1978年7月1日，就任靖国神社第六代宫司。10月17日，将远东国际军事法庭定谳的14名