任妻子塔玛拉·克拉维茨前往苏联学习。1962年，他的父亲去世，他继承爵位成为第二代米尔福德男爵，并由此成为英国上议院议员。他曾打算放弃继承爵位，但大不列颠共产党总书记哈利·波利特劝他接受。从那时起，直到1991年大不列颠共产党解散，他是大不列颠共产党在英国议会的唯一一名议员。
婚姻.沃根·菲利普斯有过三段婚姻。1928年，菲利普斯与小说家罗莎蒙德·莱曼结婚。1930年代末，莱曼与他分居并转投诗人塞西尔·戴-里维斯的怀抱。1944年，他们才正式离婚。他们有两个孩子：雨果（第三代米