Da Albright ble født, tjenestegjorde faren som attaché ved den tsjekkoslovakiske ambassaden i Beograd. Signeringen av Münchenavtalen i 1938 og innlemmelsen av Böhmen og Mähren i det tredje rike i mars 1939, førte til at familien måtte flykte på grunn av sine kontakter med Edvard Beneš. Før flukten hadde Albrights foreldre i 1941 konvertert fra jødedommen til den katolske kirke. Albright tilbragte krigsårene i England, mens faren arbeidet for Beneš' tsjekkoslovakiske eksilregjering. De bodde først i Kensington Park Road i Notting Hill i London, der de oppholdt seg under den verste delen av blitzen. Senere flyttet de til Beaconsfield, og deretter til Walton-on-Thames i Surrey, sør for London. I England deltok den unge Albright som et flyktningebarn i en film som var laget for å fremme sympati for Londons flyktninger.