Se casa en 1786 con Anne Brettingham De Carle, unión que dará tres hijos: James DeCarle Sowerby (1787-1871), George Brettingham Sowerby (1788-1854), y Charles Edward Sowerby (1795-1842), y que continuaron con la obra de su padre publicando obras como ""Mineral Conchology of Great Britain, Genera of Recent and Fossils Shells"", asimismo varios de sus nietos e incluso bisnietos siguieron la tradición familiar ampliando las publicaciones existentes e incluso editando otras nuevas.