לאחר עליית היטלר לשלטון, סירב אלברכט להצטרף למפלגה הנאצית, ובשנת 1940 עבר לאחוזתו בסרוואר, מחוז ואש בהונגריה. לאחר כיבוש הונגריה באוקטובר 1944, נעצרו בני המשפחה בזקסנהאוזן, ובאפריל 1945 הועברו למחנה הריכוז דכאו, משם שוחררו על ידי צבא ארצות הברית.