Assheton Smith épouse Elizabeth Wynn, fille de Watkin Wynn de Foelas. Son fils aîné, John, est expulsé de la famille après avoir épousé une servante et est ensuite effacé de leurs registres familiaux. Le troisième fils d'Assheton Smith, William, participe à la Bataille de Trafalgar sur le mais meurt noyé en 1806 . Il a aussi cinq filles.