没有再从中作梗，他接下来又连任了两届，一直担任众议员到1877年。布朗在众议院最引人注目的举动是1875年2月4日发表的一次演说，这次演说是对马萨诸塞州联邦众议员本杰明·巴特勒唿吁通过《1875年民权法》（）之举的回应。巴特勒在前一天的演说中描述了南方州对非裔美国人无法无天的所做所为，而布朗则在次日的回应中声称这是对南部人民不公正的指控，并且指责作出这一指控的人“在他的故乡（都）不容于上流社会，他的名字就是谬误的代名词，他在任何情况下都是欺诈人士中的佼佼者，他是盗贼的辩护士，他是如此邪恶和卑鄙，以至于（