Vita Sackville-West ble født ved Knole House i nærheten av Sevenoaks i Kent som det eneste barn av Lionel Sackville-West, 3. baron Sackville og hans hustru Victoria Sackville-West, som var søskenbarn. Hennes mor var datter av Lionel Sackville-West, 2. baron Sackville. Hun ble døpt Victoria Mary Sackville-West, men var kjent som «Vita» hele sitt liv for å adskilles fra sin mor med samme navn.