特金斯·哈丁，布朗觉得自己要想当选参议员，很可能会需要新州长的支持。然而，自己家中的不幸很快让他对政治失去了兴趣。1894年10月30日，布朗还只有十几岁的女儿因肺结核去世。几个月后，他的儿子阿奇博尔德·狄克逊·布朗（）与夫人离婚，之后发现他原来一直都有外遇。阿奇博尔德情人的丈夫根据匿名举报在路易斯维尔的一所妓院里找到两人，然后掏出手枪枪杀了自己的妻子和阿奇博尔德·布朗。面对这一系列的家庭不幸，还在州长位置上的布朗写信给克莱：“我不想竞选参议员了。我的孩子们最近遭遇的灾难已经让我完全不适合再来参加这场竞选。