Conger ble gift med Sarah Pike, som også var fra Iowa. Hun var forfatter, og leder av Woman's Christian Temperance Union. Hun ble med sin mann til Kina og ble senere kjent for sitt vennskap med keiserdronning Cixi.