请辞下台，成为史上任期最短的卫生署长。2009年1月，卸任卫生署长后的林芳郁，接任中华民国国军退除役官兵辅导委员会所属的台北荣民总医院院长。2015年8月1日就任亚东纪念医院院长。
家庭.已婚，妻子为大学同窗，知名整形医师林静芸，育有一子一女。子为 AppWorks 创业加速器创办人、台湾大哥大总经理林之晨。女为林之昀，与其母于台北市合开诊所。2010年五都市长选举前夕连胜文中枪事件送往台大医院后，即由林之昀加入连之医疗团队进行手术。