しかし1613年にカーがサフォーク伯の娘で第3代エセックス伯ロバート・デヴァルー夫人フランセス・ハワードと恋仲になった際、オーヴァーベリーに結婚を反対されたことでカーとフランセスはオーヴァーベリーを恨むようになった。