案曾被当时中华人民共和国驻日大使王毅加以反对，引起许世楷公开批评「王毅在日本的工作很容易，只要看台湾驻日代表处作什么就反对什么」。许世楷在2008年马英九总统上任前的5月19日提出辞呈，但未立即获准。2008年6月，台日双方在钓鱼台海域发生联合号海钓船事件后，遭部份人士质疑为何不向日本抗议而被外交部召回。
卸任后.返回台湾后，许世楷拥有日本永久居留权（俗称「樱花卡」）的事情也被国民党立委所质疑，由于许世楷不满遭到批评，于是召开记者会以「士可杀不可辱」为主题，拒绝赴立法院备询