最初の妻のマリア（1793年または1794年 - 1858年）とは、ロンドンに移住した後の1818年に結婚し、5人の息子と4人の娘（マリア、ジョン、フレデリック、ルウィン、エドガー、チャールズ、エディス、エミリー、ガートルード）をもうけたが、1858年9月にアロー戦争下の香港でヒ素中毒により死亡した。