后，永芳加入了陆上自卫队，1964年他曾隶属于东京奥运会支援集团。然而罹患大病之后，再起为防卫研修所战史勤务。于1968年以一等陆佐的位阶退休。同年开始担任福井市立乡土历史博物馆馆长。1978年7月1日，就任靖国神社第六代宫司。10月17日，将远东国际军事法庭定谳的14名甲级战犯（靖国神社方面自称“昭和殉难者”）合祀。明确地合祀开始期限当为翌年的4月19日。永芳的这一行为也是随后旷日持久的靖国神社问题的发端。1992年，永芳退任，再度担任乡土历史博物馆馆长。2005年7月10日去世。