三段婚姻。1928年，菲利普斯与小说家罗莎蒙德·莱曼结婚。1930年代末，莱曼与他分居并转投诗人塞西尔·戴-里维斯的怀抱。1944年，他们才正式离婚。他们有两个孩子：雨果（第三代米尔福德男爵）和莎拉。同年，菲利普斯与克里斯蒂娜·卡萨提结婚，她是意大利艺术赞助人路易莎·卡萨提唯一的孩子，曾嫁给弗朗西斯·黑斯廷斯，第十六代亨廷顿伯爵。这对夫妇在格洛斯特郡经营一家新式农庄。1953年，克里斯蒂娜去世。一年后，菲利普斯娶了塔玛拉·克拉维茨，她是《工人日报》编辑威廉·拉斯特的遗孀。婚后，这对夫妇搬到汉普斯