Villiers ble født i Brooksby i Leicestershire. Faren var den lavadelige George Villiers, og moren var Mary, datter av Anthony Beaumont fra Glenfield i Leicestershire. Hun ble tidlig enke, og sendte sin sønn til Frankrike sammen med John Eliot for å få ham utdannet for virke ved hoffet.