Sullivant se casa tres veces: Jane Marshall, 1824 (fallece en 1825); Eliza Griscom Wheeler (ilustradora botánica), 1834 (fallece en 1850), quien lo alienta fervorosamente en su amor a la Botánica; Caroline Eudora Sutton, 1851 (supértite, fallece en 1891).