Det forhold mellom samme kjønn som hadde den dypeste og mest varige effekt på Vita Sackville-Wests personlige liv var med romanforfatteren Violet Trefusis, datter av George Keppel og hans hustru Alice Keppel, en elskerinne av kong Edvard VII. Hun møtte Violet Trefusis da de var henholdsvis tolv og ti år og gikk på skole sammen en rekke år.