עם פלישת הגרמנים לאוסטריה, ברח ברגמן לאנגליה. בגלל מלחמת העולם נמנע ממנו לזכות במדליות רבות נוספות כולל מדליות זהב. הוא קיבל אזרחות בריטית בשנת 1946.