Smith contraería matrimonio al año siguiente, el 12 de junio de 1786, con Abigail "Nabby" Adams, hija del embajador John Adams, quien más tarde sería el segundo presidente de Estados Unidos, y Abigail Smith.