I 1946 ble Philipps valgt som rådgiver for Cirencester Urban District Council, men han mistet snart dette setet. Under valget i 1950 sto Philipps til House of Commons. I 1959 reiste Philipps sammen med sin tredje kone til Sovjetunionen for å studere. I 1962, arvet Philipps sin fars tittel og, etter oppmuntring fra Harry Pollitt, generalsekretær i det britiske kommunistpartiet, ble han innsatt i House of Lords som den andre baron Milford.