1860年9月、元アメリカ合衆国上院議員アーチボルド・ディクソンの娘、レベッカ・ハート・ディクソンと再婚した。
1860年布朗再婚，夫人是前联邦参议员阿奇博尔德·狄克逊（ArchibaldDixon）的女儿丽贝卡·哈特·狄克逊，两人一共生了八个孩子。