谈话内容大多有录音记录，而且他大都是与小学馆的编辑以及自己的秘书、助理同行，至少均留有笔记，因此内容均存真无误；他一贯主张慰安妇是民间的商业行为，「从军慰安妇」这个名称「是有人在小说中用过的名词，历史上并不存在这种名词」。2001年2月23日，律师王清峰批评，小林善纪自称调查了几个慰安妇，就说「慰安妇不可能被逼迫」、「日本最重视人权」，但日本人自己都说日本是「人权落后国」；所谓的「慰安妇自愿说」，日本右翼人士讲这种话不稀奇，台湾人讲这种话是可悲到了极点、可悲到无以复加的地步，「有谁家的女儿、姊妹可以忍受