合号海钓船事件后，遭部份人士质疑为何不向日本抗议而被外交部召回。
卸任后.返回台湾后，许世楷拥有日本永久居留权（俗称「樱花卡」）的事情也被国民党立委所质疑，由于许世楷不满遭到批评，于是召开记者会以「士可杀不可辱」为主题，拒绝赴立法院备询，并要求外交部即刻准辞，遭新上任外交部长欧鸿鍊指责拒绝备询非常不应该。最后许世楷在同年7月11日，返回台中市老家，计画长年定居，2009年4月开始回到静宜大学兼任讲师到2010年6月止。