サリー・ヘミングス
キャレンダーの主張はほとんど噂に基づいているように見えると言う者がいた。その理由は、郵便局長に指名されなかったことでキャレンダーが逆恨みしており、ウッドソンは後にDNA鑑定でジェファーソンの血筋ではないことが分かったこと、キャレンダーは情報を得るためにモンティチェロに特に繋がりを持たなかったことを挙げた。モンティチェロを運営するトマス・ジェファーソン財団によって作られた報告書では、キャレンダーの当初の話とウッドソン家の口承によって裏付けられたにもかかわらず、ウッドソンの主張は嘘だとした。
トマス・ジェファーソン遺産協会は、1802年の最初の記事や1805年の簡単なもののほかに、ジェファーソンの政敵の誰もジェファーソンが奴隷と関係を持った可能性に焦点を当てた者はいないし、1873年にマディソン・ヘミングスが報告するまでそのような記事はなかったと注釈した。ジョン・アダムズは、キャレンダーが言ったことはどれも信じるに値しないと言った。アダムズはキャレンダーの告発について「キャレンダーとサリーは彼の性格における汚点としてジェファーソンと同じくらい長く人々の記憶に残るだろう。後者(ジェファーソン)の話はニグロの奴隷制という人間性に悪質な影響をあたえるものの自然で避けられない結果である」と書いた。
この噂に関する真偽は長い間議論されてきた。主張を支持する証拠としては次のものがある。
サリー・ヘミングスは明らかにジェファーソンと共に住んでいた。パリ(1790年の子供の主張)あるいはモンティチェロであり、ヘミングスの全ての子供を妊娠したときに一致し、ヘミングスが妊娠の時に他のところにいたという文書化された証拠は見つかっていない。
モンティチェロにいたマディソン・ヘミングスや、その証言に同意した他の元奴隷による声明がある。
ヘミングスの子供たちはジェファーソンの体形によく似ている。
ヘミングスの子供たちはジェファーソンの子孫によって解放されるか、モンティチェロから出て行くことを許された。
上記議論に対する反論は次の通りである。
ジェファーソンは何度もモンティチェロで滞在し、ヘミングスは妊娠しなかった。もしジェファーソンの親戚が父親ならば、その親戚はジェファーソンがそこにいる時に訪問した可能性が強い。
ウッドソン家の子孫は、その先祖のトマス・ウッドソンがジェファーソンの息子だという声明をし、それが後にDNA鑑定で嘘だと分かった。多くの人々は有名で重要な先祖がいると信じたがるという傾向がある。