下院におけるブラウンの最も著名な行動は、マサチューセッツ州選出のベンジャミン・F・バトラーが1875年公民権法の成立を求めたのに対し、1875年2月4日に行った演説だった。バトラーが前日の説明で、南部でアフリカ系アメリカ人に対する無法状態があると触れたことに言及し、ある個人によって南部人に対して成された不当な告発だと主張した。その個人（バトラー）とは、「尊敬すべき社会によって自家内では無法者であり、その名前は欺瞞と同義語であり、ペテンの推進者かつ如何なる場合もペテン師、泥棒の代弁者、彼を叙述するに悪徳と悪意の脅威が強いので、想像力を枯らし、毒舌を使い尽くすような者」と語った。ブラウンはさらにスコットランドの悪名高い殺人者ウィリアム・バークについて触れ、その犠牲者を殺す方法が「バーキング」と呼ばれていると付け加えた。演説がここまで来た時点で、下院議長のジェイムズ・G・ブレインがブラウンを制止し、ブラウンが下院議員の誰かについて言及しているかを尋ねた。ブラウンは曖昧な回答をした後、「私が言おうとしているのは、戦時における小心さ、平時における冷酷さ、道徳における禁忌、政治における悪名であり、それを「バトラーしている」と言うことになる」と続けた。議場はブラウンの発言に対する抗議の声で騒然となり、激怒した共和党議員はブラウンの即時追放を要求した。ブラウンは追放こそされなかったが、議会で不適切な言葉を使ったとして、下院から公式に問責された。その後の議会でこの問責は公式記録から消された。