Under andre verdenskrig ble Thorleif Paus og Ella Moltke Paus registrert som flyktninger av den norske legasjonens flyktningkontor i Sverige (Kjesäterkartoteket). At de hadde overtatt et slott i Sverige noen år før krigsutbruddet gjorde dem vesentlig bedre stilt enn andre norske flyktninger i landet; de tok imot mange norske flyktninger på Kvesarum, og det ble opprettet en norsk flyktningleir under norsk befal i nærheten av slottet. Sønnen Ole hadde vært knyttet til generalstaben og fulgt general Otto Ruge under kampene i Nord-Norge; Ole tok seg siden over til Sverige, og reiste videre til London der han ble sjef for hæravdelingen i gruppe for offensiv etterretning i Forsvarets overkommando, forløperen til Etterretningstjenesten.