布朗在伊丽莎白的学校接受早期教育，1851年获位于肯塔基州丹维尔的美国中央学院录取时还只有16岁。1855年，他从中央学院毕业并返回哈丁县攻读法律。1857年他通过考试获得从业资料，在伊丽莎白开设了事务所。他在演说上的声誉让自己的事业蒸蒸日上，但他对一无所知党的批评也召来了死亡威胁。1857年，布朗与露西·巴比成婚，但她次年就去世了。1860年布朗再婚，夫人是前联邦参议员阿奇博尔德·狄克逊（）的女儿丽贝卡·哈特·狄克逊，两人一共生了八个孩子。
联邦众议员.1859年，肯塔基州巴