Phillips var sønn av oberst Thomas Vaughan Wynn Phillips fra Royal Artillery. Hans mor, Louisa Mary Adeline de Horsey Phillips, var datter av admiral sir Algernon Frederick Rous de Horsey.