Lee estuvo casado con la modelo danesa Birgit Kroencke (también conocida como Gitte Lee) desde 1961, que había trabajado para Balenciaga, Chanel y Christian Dior.