Con la anexión de Austria por la Alemania nazi en 1938, y debido a su ciudadanía británica (aparentemente colgó la Unión Jack en su casa en Viena), Seilern decidió en 1939 regresar a Inglaterra, trayendo con él su ya amplio fondo de arte y su biblioteca. Instalado en Inglaterra, ahora sería capaz de proporcionar financiación a otro historiador del arte para que pudiera huir de la Austria ocupada, Ludwig Münz, así como ayudar a Johannes Wilde y su esposa judía a dejar Viena. El director de la Galería Nacional, Sir Kenneth Clark, patrocinó a Wilde, quien se reunió con Seilern en Aberystwyth (Gales) donde su colección era bastante importante como para ser escondida con obras de arte de la Galería Nacional y de la Colección Real. Seilern luego se alistó en el ejército británico (aunque ya tenía treinta y ocho años), sirviendo en la Artillería Real, y en 1940 se ofreció de inmediato como voluntario en la desastrosa campaña ruso-finlandesa, huyendo en solitario de la ocupada Noruega. Fue al final de la Segunda Guerra Mundial, cuando actuaba como intérprete de alemán en el Cuerpo de Inteligencia Británico, que apareció en la puerta del profesor Jan van Gelder en Ámsterdam para recoger tres bocetos al óleo de Rubens que Seilern había comprado de la colección Koenig en 1940 y depositado como "propiedad sueca" en un banco de Ámsterdam.