El 13 de abril de 1843 se casaron con dos hermanas: Chang con Adelaide Yates, y Eng con Sarah Anne Yates.