当选联邦众议员，其中1859年首度当选时他表示了抗议，因为自己这时还未满25岁，低于宪法规定的众议员年龄下限，但所在选区的选民仍然坚持投票支持他。当选后布朗并未上任，而是在之后的一年国会会期才开始就职，这时他已经达到了法定年龄。之后布朗搬到了肯塔基州的亨德森，并于1866年在选区胜出，但这次他的职位却因在美国内战期间没有对联邦尽忠而遭到剥夺。他所在选区的选民拒绝再选出另一位代表，结果这个议席就在布朗当选的整个任期里一直保持着空缺状态。1871年，布朗参选州长但没有成功，然后又于1872年再度当选联邦众议员并