Lord Milner pensjonerte seg i 1921. Senere samme år giftet han seg med lady Violet Georgina Gascoyne-Cecil, enke etter Edward Cecil. Han forble aktiv i arbeidet til Rhodes–fondet og aksepterte på oppfordring fra statsminister Stanley Baldwin formannskapet i en komité for å undersøke en ny tariff av imperiepreferanse. Hans arbeid ble avbrutt da Baldwin tapte det etterfølgende valget.