志芳毕业于台南一中；就读国立台湾大学时原为农业工程系，大二时转入政治系国际关系组。中华民国外交特考第18期合格，后进入外交部任职，1985年担任当时外交部常务次长程建人的「机要秘书」、驻英国代表处荐任主事，1986年任外交部北美司科员，1991年担任驻美代表处国会组秘书，1996年任北美司第一科科长、专门委员。1999年转调陆委会，担任联络处副处长、专门委员、研究委员，多次出席亚太经济合作会议（APEC）幕僚工作会议。2002年获蔡英文推荐出任总统府公共事务室主任，2004年跃升总统府副祕书长，深获当时总统