1883年、森有礼の斡旋で、板垣退助がスペンサーと会見した時、板垣が「白色人種の語る自由とは、実質としては有色人種を奴隷の如く使役した上に成り立ってる自由であり、これは白人にとって都合の良い欺瞞に満ちた自由である」と発言したことに対して、スペンサーは、「封建制をようやく脱した程度の当時の未だ憲法をも有していない日本が、白人社会と肩を並べて語るには傲慢である」と論を退け、板垣の発言を「空理空論」となじり、尚も反論しようとする板垣の発言を制し「no、no、no…」と席を立ち喧嘩別れのようになる一幕があった。