Casey flyttet senere til Kairo i 1942 da Winston Churchill utnevnte ham til minister der. Han bosatte seg i Midtøsten, til ergrelse for statsminister John Curtin og noen i det britiske utenriksministeriet. Fra 1944 til 1946 var han britisk guvernør i Bengal. I 1946 returnerte Casey til Australia i håp om å bli valgt inn til parlamentet igjen i det påfølgende valget i 1946. I 1947 ble han leder for Liberal Party of Australia. Casey og partiet vant valget i 1949 og Casey var tilbake i Representantenes hus. I mars 1950 ble han utnevnt til minister for nasjonal utvikling.