Han giftet seg med sin kusine Eliza Cottle (datter av hans onkel Isaac Cottle) 7. november 1930. De fikk en datter kalt Melzenia i 1831, men skilte seg kun tre år senere den 7. oktober 1934. 21. juni 1835 giftet han seg på nytt med Nancy (Curtis) Oliver, enke etter John Oliver. Tvillingsønnene hans Thomas Jackson Cottle og George Washington Cottle jr. ble født 31. mars 1836, bare 25 dager etter at faren døde i krig. Begge tvillingene døde som spedbarn. Nancy Curtis Oliver Cottle giftet seg senere på nytt. Denne ganger med John C. Cooksey.