Su familia tenía una muy buena posición económica y su padre, John Phillips, desempeñaba una importante carrera política que lo había llevado a ser el primer alcalde de Boston.