，布朗先是给予模棱两可的回应，然后表示：“如果我想要描述所有战争期间的懦弱，和平时代的非人道，道德上的禁忌和政治中的声名狼借，我应该用‘’这个词。”众议院立即爆发出对布朗的抗议，愤怒的共和党议员要求立即将他开除。最终众议院虽然没有开除布朗，但对他使用议会中不容许的措辞而作出了正式的谴责。不过，之后的国会将这次谴责的纪录清除掉了。
1891年州长选举.离开众议院后，布朗在路易斯维尔再度开始从事法律工作。1891年，他成为民主党州长候选人提名的其中一位争夺者。其他的候选人包括小卡修斯·