Se sintió destrozado cuando su esposa falleció en 1821, sumiéndose en una crisis mística que lo llevó a pensar en convertirse en sacerdote, jurando nunca más contraer matrimonio; dejó su trabajo y se concentró en sus negocios, trasladando el asiento de ellos al Perú, en sociedad con el comerciante José Manuel Cea.