בשנת 1931 הופיע טאובר לראשונה בלונדון באופרטה וההופעות בלונדון היו לדבר שבקבע; אותה שנה גם סייר בארצות הברית. ב-1933 תקפה את טאובר ברחוב כנופיית בריונים נאצים, מלובשי החולצות החומות, כנראה בגלל מוצאו היהודי, והוא החליט לעזוב את גרמניה ולחזור לאוסטריה, מולדתו, שם המשיך לשיר באופרה של וינה. באמצע שנות ה-30' השתתף בכמה סרטים מוזיקליים באנגליה, ובאחד מהם פגש את השחקנית האנגליה דיאנה נאפייר; הם נישאו ב-1936. ב-1938 הופיע לראשונה באופרה בלונדון בחליל הקסם, בניצוח תומאס ביצ'ם. אותה שנה סיפחה גרמניה הנאצית את אוסטריה והזוג טאובר עזב את אוסטריה לבלי שוב. בתגובה לכך, ביטלה ממשלת אוסטריה את דרכוניהם של הזוג טאובר ואת זכות התושב שלהם; כיוון שפעולה זו הפכה אותם טכנית לאנשים ללא מדינה, הגיש טאובר בקשה לקבלת אזרחות בריטית. הוא נמצא במסע קונצרטים בדרום אפריקה כשפרצה מלחמת העולם השנייה וחזר לשווייץ עד שקיבל את המסמכים שאפשרו לו להיכנס לממלכה המאוחדת, בראשית 1940.