本政府对台湾免签证案曾被当时中华人民共和国驻日大使王毅加以反对，引起许世楷公开批评「王毅在日本的工作很容易，只要看台湾驻日代表处作什么就反对什么」。许世楷在2008年马英九总统上任前的5月19日提出辞呈，但未立即获准。2008年6月，台日双方在钓鱼台海域发生联合号海钓船事件后，遭部份人士质疑为何不向日本抗议而被外交部召回。
卸任后.返回台湾后，许世楷拥有日本永久居留权（俗称「樱花卡」）的事情也被国民党立委所质疑，由于许世楷不满遭到批评，于是召开记者会以「士可杀不可辱」为主题