党的批评也召来了死亡威胁。1857年，布朗与露西·巴比成婚，但她次年就去世了。1860年布朗再婚，夫人是前联邦参议员阿奇博尔德·狄克逊（）的女儿丽贝卡·哈特·狄克逊，两人一共生了八个孩子。
联邦众议员.1859年，肯塔基州巴兹敦的地方民主党会议推举布朗作为代表该选区的联邦众议员候选人，争夺约书亚·朱厄特的席位。对此布朗表示抗议，因为美利坚合众国宪法第一条中规定众议员的年龄下限为25岁，而他这时还没满24岁。结果，肯塔基州第五国会选区的选民还是选择了布朗作为他们在联邦众议院的新代