Conway hadde vært involvert i politikk over lengre tid, og vanket i begge de to store partiene, angivelig på jakt etter et ridderskap og et baroni, og han fikk etterhvert begge. Han ble valgt inn som konservativt parlamentsmedlem for Combined English Universities i 1918. Han ble sittende til 1931, da han ble adlet som , av Allington i Kent.