Sally Hemings
Madison Hemings'in anıları

Sally'nin oğullarından Madison Hemings, 1873 tarihli anılarında (Ohio gazetesi The Pike County Republican'ın yayımcısı Samuel Wetmore tarafından redaksiyonu yapılmıştır) Thomas Jefferson'un onun ve Sally'nin çocuklarının hepsinin babası olduğunu iddia etmiştir. Erkek kardeşleri ve kızkardeşinin, köle geçmişlerini  gizleyerek beyaz topluma karıştığını açıklar. Hemings'in açıklamaları Calendar'ın iddia ettiği "Başkan Tom"dan söz etmez, onun yerine, Sally'nin ilk çocuğunun Fransa'da peydahlandığını, Sally'nin Virginia'ya dönüşünden kısa süre sonra bu çocuğun doğup öldüğünü belirtir.
Bu tutarsızlığa rağmen bazı araştırmacılar bu 1873 anısının Callendar'ın makalesine dayandığını iddia etmiştir, çünkü her ikisi de Martha Jefferson'un babası John Wayles'ın adını aynı biçimde yanlış yazmıştır. Ancak, "Wayles" ile aynı okunuşu olan  "Wales" kelimesinin yazılması, iki kişinin birbirinden bağımsız olarak kolaylıkla yapılabileceği bir hatadır.
Bazı tarihçiler 1873 anı kitabından öncesine ait bir sözlü gelenek olmamasını eleştirirler, ne Monticello kölelerinin ahfadında ne de Hemings ailesinde; ancak, sözlü gelenekler, sözlü olmalarının doğası gereği, yazılana kadar bir delil bırakmazlar. Hemings soyundan pek çok kişi "beyaz geçindiği" için, ayrıca Beverly ve Harriet Hemings'in hukuki durumunun 1865'e kadar kaçak köle olduğu için, kayıt bırakmamak onlar için önemliydi. Her durumda, 1902'de bir gazetede yayımlanan, aileden olmayan bir kişinin bir hatıratında yazdığına göre, 1840'larda Eston Hemings ve Madison Hemings'in Jefferson'un çocukları olduğu, onların Chillicothe, Ohio'daki komşuları tarafından genel kabul görmüş bir olguydu.
Madison Hemings'in hikâyesine şüpheyle karşılanmasının diğer nedenleri, Sally Hemings'in Fransa'da kalışının süresi hakkındaki hata, Jefferson'un vasiyetindeki maddeler ve Madison'un Dolley Madison tarafından adlandırılmış olduğu iddiasıydı. Hikâyeye inanılmamasının bir diğer nedeni, Madison'un iddiasına göre Jefferson'un tarımdan fazla zevk almadığı ve makineleri tercih ettiğiydi. Tarihçi Annette Gordon-Reed, bununla ilgili olarak, Madison'un büyüdüğü dönemin, Monticello'da büyük bir inşaat faaliyeti dönemine rastlaması ve Madison'un marangoz olarak eğitim görmüş olduğunu belirtir.
Aynı gazetede yayımlanan, ikinci bir Monticello kölesinin anısı, Madison Hemings'in hikâyesini desteklemiştir. Bunun ardından Jefferson'un torunu Thomas Jefferson Randolph, o hikâyedeki hatalar hakkında gazeteye (yayımlanmayan) bir mektup yollamıştır.
Bazı eleştirmenler Madison'un hatıratında kullanılan kelime dağarcığının eski bir köleden beklenmeyecek bir zenginlik gösterdiğini, bunun, editör Samuel Wetmore'un (Cumhuriyetçi parti taraftarı ve kölelik aleyhtarı) metne katkısı olduğuna işaret ettiğini söylemiştir. Ancak, aynı yazı dizisinde Wetmore'un diğer makaleleri aynı üslup özelliklerini göstermemektedir. Madison, imtiyazlı Hemings ailesinin bir üyesi olarak, çokyönlü (polimat) bir kişi olan Jefferson ve onun çocuklarının yakınında büyümüştü ve kendi yazdığına göre, Jefferson'un torunları tarafından eğitilmiş, daha sonra da kendi başına eğitimini sürdürmüştü. Gordon-Reed, eski bir kölenin ifadesinin nasıl olması gerektiği hakkında tarihçilerin gösterdiği taraflılığın, bu eserin dikkate alınmamasına neden olduğunu belirtmiştir.
Madison'un, babasının Thomas Jefferson olduğu iddiası, bazı kişiler tarafından hüsnükuruntu olarak sunulmuştur. Yayımlanışından kısa bir süre sonra, rakip bir gazete "bu yörede en az elli zencinin babalarının meşhur kişiler olduğunu iddia ettiğinden şüphemiz yoktur. Bu, renkli ırkın bilinen bir özelliğidir." diye yazmıştır. Daha yakın geçmişte, Thomas Jefferson Heritage Society'nin 2001'de yayımlanmış olan "Araştırmacılar Komisyonu" raporuna katılmış birisi olan David Mayer, Madison'un anılarının "mitos" değil de "tarih" olarak değerlendirmenin, "Kuzeybatı Pasifik yerlilerinden meşhur bir kabile reisinin aslında bir kuzgundan inme olduğuna inanmak gibidir, çünkü onun aile efsanesinde öyle demektedir" diye yazmıştır. "Thomas Jefferson ve Sally Hemings: Bir Amerikan Çekişmesi' (Thomas Jefferson and Sally Hemings: An American Controversy) kitabının yazarı Annette Gordon-Reed, anı kitabının yayımlanmasının ardından Madison Hemings'in alaya alındığını belirtir. Bu anı unutulup 1950'lerde tekrar keşfedilince, Madison Hemings'in hikâyesi yeniden alaya alınmıştır "sanki 1873 ile 1990'lar arasında hiçbir şey olmamış gibi." Kölelik döneminde ırklar arasındaki ilişkiler hakkındaki söylencelerin ve Jefferson'un kişiliğini "korumanın" bir yolu olarak bunu yorumlar.