4年7月5日，许世楷出任台北驻日文化代表处大使。在其任内成功地推动台湾观光客赴日免签证（2005年达成）、日本承认台湾驾照（2007年8月8日两国代表在东京签署〈台日双方驾驶执照相互承认协定〉）等。之后韩国外交部也跟进与日本签订相同的国民免签交流。首相安倍晋三曾肯定许世楷对促进台日关系的杰出贡献，并强调美日台三地领袖有对话的必要性。关于日本政府对台湾免签证案曾被当时中华人民共和国驻日大使王毅加以反对，引起许世楷公开批评「王毅在日本的工作很容易，只要看台湾驻日代表处作什么就反对什么」。许世楷在2008