Etter faren John Speeds død i 1840 dro Joshua Speed hjem til Kentucky. Han giftet seg i 1841 med Fanny Henning. Lincoln, som hadde brutt sin forlovelse med Mary Todd på den planlagte bryllupsdagen, nyttårsdag 1841, ombestemte seg, og bestemte seg for å gifte seg han også. Lincoln giftet seg med Mary i 1842. Speed hadde i sine brev bedyret at ekteskapet gjorde ham lykkeligere.