Lambert tuvo una vida privada agitada, casándose dos veces y compartiendo vida con dos mujeres: la jovencísima bailarina Margot Fonteyn y, al final de su vida, la modelo y pintora Isabel Delmer —que, como Alma Mahler, fue una coleccionista de genios: Giovanni Giacometti, André Derain, Picasso, Alfred Jules Ayer y Alan Rawsthorne (también fue musa de Francis Bacon)—.