Han var to ganger gift med amerikanske kvinner som begge var arvinger til betydelige formuer, første gang med Caroline Alice Maria Beatrice Claudia Russell (1854–1919) den 6. mai 1891 i Roma. Paret fikk tre sønner; Claes Leo Lagergren (1892–1961), marki, pavelig kabinettskammarherre, Johan Lagergren (1898–1975), greve, pavelig kabinettskammarherre, og Carl Lagergren (1899–1931), greve, løytnant.